# day7 阅读核验与疑问

[[MCS/day7/00 学习指南|返回本日指南]]

## 大 O 与小 o：以定义为准

原追问中保留了多次纠错。“低阶所以更小”“高阶是低阶”等口头说法容易混淆，判断时必须说明趋近点。设比较函数在去心邻域非零：

- $f=O(g)$：存在常数 $C$，在所讨论的极限附近有 $|f|\le C|g|$，是上界，不等于同阶 $\Theta(g)$。
- $f=o(g)$：$f/g\to0$。例如 $x\to0$ 时，$x^3=o(x^2)$；$x\to\infty$ 时则不是。
- $o(g)$ 一定是 $O(g)$，反向不成立；$g$ 本身是 $O(g)$，却不是 $o(g)$。

> [!proof] 小 o 的加法与乘法
> 若 $a/g\to0$、$b/g\to0$，则 $(a+b)/g\to0$；若 $a/g\to0$ 且 $b/h$ 有界，则 $ab/(gh)\to0$。这些关系依赖共同的极限过程，不能省去趋近条件。

## 牛顿误差的条件

单根附近、函数二阶连续可微时，可以得到 $e_{n+1}=Ce_n^2+o(e_n^2)$，其中 $C=f''(r)/(2f'(r))$。写成 $Ce_n^2+O(e_n^3)$ 需要更强的光滑性，例如三阶连续可微。迭代两次的主项为 $C^3e_n^4$，不是 $C^2e_n^4$；$C=0$ 时需进一步看高阶项。证明见 [[MCS/day6/阅读核验与疑问|day6 核验]]。

## 优化笔记的阅读边界

非凸函数也可以作泰勒展开；困难在于二次模型未必凸、牛顿方向未必下降。局部收敛结论需要初值、可微性和非退化等条件。Hessian 的存储、构造与求解代价是不同问题，不能一律记成一个复杂度。

Adam 的二阶矩是梯度平方的滑动平均，不是 Hessian，也不自动带来二阶收敛。原文中的算法作者、年份、软件实现和性能比较保留为课堂记录，未进行外部来源核验。