### 例题 1：二次函数牛顿法几步到最小值？

**题目**：对二次函数 $$f(x)=(x-3)^2+1$$，从 $$x_0=0$$ 出发，牛顿法几步到最小值？

**答案**：A. 1 步

**解析**：

$$f'(x)=2(x-3),\qquad f''(x)=2$$

迭代：

$$x_1=0-\frac{f'(0)}{f''(0)}=0-\frac{-6}{2}=3$$

$$f'(3)=0$$，且 $$f''(3)=2>0$$，所以 $$x=3$$ 是全局最小值点。

**为什么这么快？**  
因为原函数本身就是二次函数，牛顿法用二次模型逼近，遇到真正的二次函数直接精确命中极值点。

### 例题 2：Hessian 正定对应驻点的几何是？

**答案**：A. 局部极小（碗）

**解析**：

Hessian 正定 $$\Longrightarrow$$ 所有特征值大于零 $$\Longrightarrow$$ 所有方向曲率为正 $$\Longrightarrow$$ 无论往哪走函数值都上升 $$\Longrightarrow$$ 驻点是谷底，局部极小。

| Hessian 类型 | 特征值 | 几何 | 驻点类型 |
|--------------|--------|------|----------|
| 正定 | 全正 | 碗 | 局部极小 |
| 负定 | 全负 | 倒碗 | 局部极大 |
| 不定 | 有正有负 | 马鞍面 | 鞍点 |

### 例题 3：鞍点是不正定的吗？

**答案**：是的。鞍点处 Hessian 的特征值有正有负，即 Hessian 是不定矩阵。  
鞍点既不是正定，也不是负定；正定是碗（极小），负定是倒碗（极大），不定才是马鞍（鞍点）。

### 例题 4
在机器学习中，“病态山谷”（或称为狭长等高线）是指损失函数在一个维度上非常陡峭（梯度大），而在另一个维度上非常平缓（梯度小）。

当使用标准的梯度下降法时，由于陡峭方向梯度大，参数更新步长会很大，导致在陡峭方向上反复横跳（产生振荡）。

由于平缓方向梯度小，向最优解前进的速度非常慢。

这就导致优化路径呈现出“之”字形（Zigzag）的振荡现象，收敛非常缓慢。

## 题目 5

相机标定、Bundle Adjustment 中常用的高斯牛顿法 / LM 方法，本质上属于哪一类？

- A. 随机搜索
- B. 最小二乘上的牛顿类方法
- C. 纯 Adam
- D. 离散枚举

**答案：B. 最小二乘上的牛顿类方法**

---

## 为什么选 B

相机标定、Bundle Adjustment 的本质是**非线性最小二乘问题**：

$$
\min_x \sum_i \|r_i(x)\|^2
$$

其中 $$ r_i(x) $$ 是重投影误差（残差）。

### 高斯牛顿法的做法

对残差做一阶泰勒展开：

$$
r(x+\Delta x) \approx r(x) + J\Delta x
$$

代入最小二乘，得到正规方程：

$$
J^T J \, \Delta x = -J^T r
$$

这本质上是用 $$ J^T J $$ 近似 Hessian 的**牛顿法**。

### LM（Levenberg-Marquardt）

LM 在高斯牛顿基础上加阻尼：

$$
(J^T J + \lambda I) \, \Delta x = -J^T r
$$

- $$ \lambda $$ 小时接近高斯牛顿
- $$ \lambda $$ 大时接近梯度下降

所以两者的本质都是：**在最小二乘问题上的牛顿类方法**。

---

## 其他选项为什么不对

| 选项 | 为什么错 |
|---|---|
| A. 随机搜索 | 高斯牛顿 / LM 是确定性迭代，不是随机搜索 |
| C. 纯 Adam | Adam 是一阶梯度方法，高斯牛顿 / LM 用到了二阶信息（$$ J^T J $$） |
| D. 离散枚举 | 它们是连续优化，不是枚举 |

---

## 一句话记忆

> 高斯牛顿 / LM = 最小二乘 + 牛顿类方法；  
> 高斯牛顿用 $$ J^T J $$ 近似 Hessian，LM 再加阻尼 $$ \lambda I $$ 调节。
>