# day6 阅读核验与疑问

[[MCS/day6/00 学习指南|返回本日指南]]

原讲义、问答与例题保留认识过程。以下说明与原文并列阅读；例题正文没有因标签整理被改写。

## 泰勒展开与余项

- 有限阶泰勒公式与无穷泰勒级数不同。无限可微不能推出函数等于自己的泰勒级数；“阶数越高必定越贴合”“无穷阶精确等于”均需补条件。
- 主讲义多元三阶项若以多重指标求和，应是 $\sum_{|\alpha|=3}D^\alpha f(x_0)(x-x_0)^\alpha/\alpha!$，不能对每项一律除以 $3!$。
- 主讲义的三角函数余项有笔误：$\sin$ 展开到 $2k+1$ 阶时，拉格朗日余项为 $(-1)^{k+1}\sin\xi\,x^{2k+2}/(2k+2)!$；$\cos$ 展开到 $2k$ 阶时为 $(-1)^{k+1}\sin\xi\,x^{2k+1}/(2k+1)!$。
- 在优化文献中 $\nabla^2f$ 常表示 Hessian；在其他语境也可能表示拉普拉斯算子，需看约定。
- 硬件和数学库并非“只能先做泰勒展开”；具体实现可用参数规约、最小最大逼近、查表等，部分指令集也有超越函数指令。libm 与 JavaScript 实现关系需按具体平台核验。

## 牛顿法：已核验的修正

- 求根使用 $x-f/f'$；求驻点使用 $x-f'/f''$。驻点是内点极小值的候选，不能保证是最小值。
- 不动点笔记第六节商法则的符号有误。正确为 $N'(x)=f(x)f''(x)/[f'(x)]^2$，因此单根处 $N'(r)=0$。原式中“$1-(-1)=0$”是算术错误。后续 $0\leftrightarrow1$ 二循环计算仍可独立验证。
- $f'(r)=0$ 的重根处，原迭代式未定义；在可连续延拓、重数为 $m$ 的常见条件下，局部误差因子为 $(m-1)/m$，不宜只写“重根就不收敛”。
- 伪逆将**零奇异值对应分量置零**，不会把它变成无穷大。很小的非零奇异值才可能导致较大倒数。
- 对称正定 Hessian 的二范数条件数可写作最大/最小特征值比；不定矩阵要看绝对值，一般矩阵要看奇异值。奇异是存在零特征值，不能无条件写成代数最小特征值为零。
- 病态意味着对扰动敏感，不等于每次必然方向错误或必然发散。
- BFGS 保正定需要初始正定及 $s^Ty>0$ 等曲率条件；非凸不等于不能作二阶泰勒展开；L-BFGS 的规模上限不是固定常数。

## 补充证明：牛顿方向与局部收敛

> [!proof] 正定 Hessian 与下降方向
> 若 $H$ 对称正定、$g\ne0$，则 $d=-H^{-1}g$ 满足 $g^Td=-g^TH^{-1}g<0$。由可微性，充分小的正步长使函数下降；这不保证完整一步下降。对于正定二次函数 $f(x)=\tfrac12x^THx+b^Tx+c$，$g=Hx+b$，更新直接得到 $x+d=-H^{-1}b$，故一步到唯一极小点。

> [!proof] 单根附近至少二阶收敛
> 设 $f$ 在根 $r$ 邻域二阶连续可微，$f(r)=0$、$f'(r)\ne0$。取小邻域使 $|f'|\ge m>0$、$|f''|\le M$。在 $x_n$ 处对 $f(r)$ 作带余项展开，代入牛顿公式可得
> $$
> e_{n+1}=\frac{f''(\xi_n)}{2f'(x_n)}e_n^2,\qquad |e_{n+1}|\le\frac{M}{2m}|e_n|^2.
> $$
> 取初始误差足够小，令上述上界小于固定倍数 $q|e_n|$（$q<1$），即可保持迭代在该邻域并收敛。若还要使用原误差推导里的 $O(e_n^3)$，可增加三阶连续可微条件；仅二阶连续可微可写 $e_{n+1}=f''(r)e_n^2/[2f'(r)]+o(e_n^2)$。若该系数为零，可能高于二阶。

误差表中，若 $e_{n+1}\approx Ce_n^2$，则 $e_{n+2}\approx C^3e_n^4$，原来的 $C^2$ 不对。

## 初值、步长与鞍点

- 对 $(x-5)^2$，带因子 $\alpha$ 的牛顿法满足 $e_{n+1}=(1-\alpha)e_n$。从非最优点出发，$0<\alpha<2$ 都收敛，其中 $1<\alpha<2$ 是交替收敛；不能把所有 $\alpha>1$ 都判为不收敛。
- 对 $f(x)=x^3-x$ **求驻点**，正初值 $0.1$ 的迭代是 $x_{n+1}=x_n/2+1/(6x_n)>0$，会趋向正驻点 $1/\sqrt3$，不是极大值点。需与对同一函数**求根**、或对双阱函数求驻点区分。
- 双阱例子 $f(x)=x^4/4-x^2/2$，从 $x_0=0.5$ 出发，第一步为 $-1$，原文“滑向 $+1$”不对。
- $x^2-y^2$ 的梯度下降：当 $y_0=0$ 时可以沿 $x$ 轴收敛到鞍点；恰在原点也会停住。“一定逃离鞍点”不成立。
- Hessian 不定是 $C^2$ 函数驻点为鞍点的充分条件，非必要条件；半正定情形需继续判断。一维 $x^3$ 的原点宜称驻点拐点，避免不同“鞍点”定义混用。
- 收敛邻域通常给出充分条件，不是“当且仅当”的球形吸引域；信赖域半径也不是理论收敛半径。

## 例题中的遗留辨析

- [[MCS/day6/17 求导、泰勒与牛顿法例题|例题集]] 第 7 题：$x^4$ 在零点是**严格**极小值，原举例不正确；第 6 题的“谷底四周都下坡”混淆了谷底与山顶。梯度为零也不表示所有邻近点没有上升或下降。
- 同例题集第 1、4 题：牛顿方向并非无条件的“最优下降方向”；缩短步长的保证需要下降方向与相应线搜索假设。
- [[MCS/day6/18 牛顿方程与一维多维推导例题|牛顿方程详解]] 后半篇已明确完整步可能上升，应以其条件化表述理解前半篇。

## 软件与史实尚未外部核验

Adam 作者应进一步核对原论文（原文多次写 Kingma 与 Welling）；LightGBM 的技术沿革、库默认求解器和年份也需核对来源。Adam 的二阶矩不是二阶导数，不自动具有牛顿法二阶收敛率。XGBoost 的逐轮依赖来自前轮预测/梯度，不是硬件加法器决定；具体性能与是否优于其他算法不能无条件保证。

未逐条补全收敛半径、BFGS、信赖域、XGBoost 等完整理论证明；本页只给出了明确列出的核验及补充证明。