# 牛顿法中的奇异与病态

[[MCS/day6/00 学习指南|day6 学习指南]] · [[MCS/00 MCS学习总览|十一天总览]] · [[MCS/day6/阅读核验与疑问|阅读核验与疑问]] · 上一篇：[[MCS/day6/03 牛顿法与梯度下降的计算代价|牛顿法与梯度下降的计算代价]] · 下一篇：[[MCS/day6/05 牛顿迭代、不动点与二循环|牛顿迭代、不动点与二循环]]

> 来源：[[MCS/day6泰勒展开与近似|day6泰勒展开与近似]]。用途：补充。原有推导、追问与解答保留；阅读时请结合本日核验说明。

牛顿法中的奇异与病态
一、背景：牛顿法更新公式
牛顿法更新为
$$x_{k+1} = x_k - H^{-1}\nabla f(x_k)$$
其中 $H$ 是 Hessian 矩阵。
关键问题：$H^{-1}$ 是否存在、是否稳定。
二、奇异（Singular）
1. 定义
如果 Hessian 矩阵 $H$ 存在零特征值，即
$$
\lambda_{\min} = 0$$
那么
$$\det(H) = 0$$

矩阵 $H$ 不可逆。

2. 后果
$H^{-1}$ 不存在
所以牛顿法里的 $H^{-1}\nabla f$ 根本算不出来。
- 直接求逆 → 报错
- 用伪逆 → 零特征值方向被放大到无穷大
- 步长爆炸
- loss 输出变成 NaN 或 None
- 牛顿法直接崩溃
1. 一句话总结


奇异 = 矩阵不可逆 = 牛顿法直接崩溃。

三、病态（Ill-conditioned）
1. 定义
病态不是不可逆，而是条件数极大：
$$\kappa(H) = \frac{\lambda_{\max}}{\lambda_{\min}} \gg 1$$

也就是最大特征值与最小特征值的比值极大。

2. 几何意义

条件数极大，代表：

不同方向的曲率差了好几个数量级。

- 大特征值方向：曲率大，loss 陡
- 小特征值方向：曲率小，loss 平


1. 对牛顿法的影响

小特征值对应 loss 平缓的方向。求逆之后：
$$\frac{1}{\lambda_{\min}} \text{ 极大}$$
于是这个方向被极度放大，参数更新到完全无关、loss 极高的区域。
结果：
- 方向完全错误
- 更新步长巨大
- loss 直接飞出去
- 完全不收敛
1. 一句话总结
- 病态 = 条件数极大 = 方向完全错误 = 完全不收敛。


四、奇异 vs 病态 对比

| 项目 | 奇异 Singular | 病态 Ill-conditioned |
|------|----------------|----------------------|
| 特征值 | 存在零特征值 | 无零特征值，但 $\lambda_{\max}/\lambda_{\min}$ 极大 |
| 矩阵 | 不可逆 | 可逆但数值不稳定 |
| 条件数 | 无穷大 | 极大 |
| 牛顿法后果 | 直接崩溃 | 方向错误，完全不收敛 |
| 输出 | 报错 / NaN / None | loss 爆炸，不收敛 |
| 本质 | 求逆不存在 | 求逆放大误差 |