# 求导、泰勒与牛顿法例题 [[MCS/day6/00 学习指南|day6 学习指南]] · [[MCS/00 MCS学习总览|十一天总览]] · [[MCS/day6/阅读核验与疑问|阅读核验与疑问]] · 上一篇：[[MCS/day6/16 拐点与极值点辨析|拐点与极值点辨析]] · 下一篇：[[MCS/day6/18 牛顿方程与一维多维推导例题|牛顿方程与一维多维推导例题]] > 来源：[[MCS/day6例题|day6例题]]。用途：例题。原有推导、追问与解答保留；阅读时请结合本日核验说明。 ## 1. 求根迭代与优化概念 #求根迭代 #优化概念 **题目：** 50. 不要求写程序，只解释并计算。 (1) 用求根迭代 $$x - f(x)/f'(x)$$ 处理 $$f(x) = x^2 - 3$$，起点 $$x = 3$$，做一步，得到多少？ (2) 旁边若写「解方程 $$H d = -g$$，再令 $$x$$ 变成 $$x + d$$」，在优化里 $$g$$ 和 $$H$$ 各是什么，$$d$$ 又是什么方向？ **解答：** (1) 牛顿迭代法计算 - 求导：$$f(x) = x^2 - 3$$，则 $$f'(x) = 2x$$ - 代入起点 $$x = 3$$： - $$f(3) = 3^2 - 3 = 6$$ - $$f'(3) = 2 \times 3 = 6$$ - 计算一步： $$x_{new} = 3 - \frac{6}{6} = 3 - 1 = 2$$ 答案：做一步后得到 $$x = 2$$。 (2) 优化问题中的概念解释 - $$g$$ 是什么：$$g$$ 代表目标函数在当前点的梯度向量（Gradient），即一阶导数。 - $$H$$ 是什么：$$H$$ 代表目标函数的海森矩阵（Hessian Matrix），即二阶偏导数组成的方阵。 - $$d$$ 是什么方向：由方程 $$H d = -g$$ 解出的向量 $$d$$ 被称为牛顿方向（Newton Direction）。它代表了从当前点 $$x$$ 出发，为了寻找极小值点应该移动的步长和方向。在局部收敛的条件下，牛顿方向是指向极小值点的最优下降方向，因此更新方式为 $$x \leftarrow x + d$$。 --- ## 2. 求导：f(x) = (3 x - 1)^2 #求导 **题目：** 11. f(x) = (3 x - 1)² 求导 **解答：** 对 $$f(x) = (3x - 1)^2$$ 求导，可以使用链式法则（复合函数求导）来计算。 计算过程： 1. 设内层函数：令 $$u = 3x - 1$$，则原函数变为 $$f(u) = u^2$$。 2. 分别求导： - 对外层函数求导：$$\frac{d}{du}(u^2) = 2u$$ - 对内层函数求导：$$\frac{d}{dx}(3x - 1) = 3$$ 3. 相乘并代回： $$f'(x) = 2u \cdot 3 = 6u$$ 将 $$u = 3x - 1$$ 代回： $$f'(x) = 6(3x - 1)$$ 化简结果： $$f'(x) = 18x - 6$$ 答案：$$f'(x) = 6(3x - 1)$$ 或 $$18x - 6$$。 （补充：如果你先展开再求导，结果是一样的：$$f(x) = 9x^2 - 6x + 1$$，求导得 $$f'(x) = 18x - 6$$。） --- ## 3. 泰勒多项式误差最小的位置 #泰勒多项式 **题目：** 13. 同一阶数的泰勒多项式，误差最小的位置一般在？ A. 离展开点很远的地方 B. 展开点附近 C. 只在整数点 **解答：** 答案：B. 展开点附近 解释： 泰勒多项式是利用函数在某一点（展开点）的各阶导数信息，来近似该函数的一种多项式。 根据泰勒定理，泰勒多项式在展开点及其附近能够非常好地逼近原函数，误差非常小。随着你离展开点越来越远，近似的误差通常会迅速增大。 - A 错误：离展开点很远的地方，泰勒多项式的误差通常会变得很大（除非函数本身是多项式，或者收敛半径无限大且你取了无穷多项）。 - C 错误：误差的大小与是不是整数点没有必然关系。 因此，同一阶数的泰勒多项式，误差最小的位置一般就在展开点附近。 --- ## 4. 阻尼牛顿法 #阻尼牛顿法 **题目：** 14. 阻尼牛顿法把算出的牛顿步再乘一个小于 1 的正数，主要是因为？ A. 二次函数本来就不能一步走完，必须故意缩短 B. 完整牛顿步有时太长，函数值反而上升，先缩短再走 C. 这样就不需要梯度了 D. 为了把 Hessian 变成零矩阵 **解答：** 答案：B. 完整牛顿步有时太长，函数值反而上升，先缩短再走 解释： 阻尼牛顿法是在经典牛顿法的基础上引入了一个步长因子 $$\alpha$$（$$0 < \alpha < 1$$），将更新公式改为 $$x_{k+1} = x_k + \alpha d_k$$（其中 $$d_k$$ 是标准牛顿方向）。 这样做的主要原因是： 1. 经典牛顿法的局限性：经典牛顿法默认步长为 1，即直接走到 $$x_k + d_k$$。但是，牛顿方向只是在当前点附近的局部最优下降方向。如果当前点离极小值点较远，完整的牛顿步可能会迈得太大，导致更新后的函数值 $$f(x_{k+1})$$ 反而比原来的 $$f(x_k)$$ 更大（即发生了“过冲”或发散）。 2. 阻尼的作用：乘以一个小于 1 的正数 $$\alpha$$，相当于缩短了步长。通过选择合适的 $$\alpha$$（通常通过线搜索确定），可以保证每次迭代函数值都能单调下降，从而保证算法的全局收敛性。 其他选项错误原因： - A 错误：对于标准的二次函数，如果 Hessian 矩阵正定，经典牛顿法确实可以一步走到极小值点（步长为 1 即可），不需要故意缩短。 - C 错误：阻尼牛顿法依然需要计算梯度（用来确定牛顿方向 $$d = -H^{-1}g$$）和 Hessian 矩阵。 - D 错误：Hessian 矩阵是函数的二阶导数矩阵，由函数本身决定，不能为了算法需要而随意变成零矩阵。 --- ## 5. 二元函数梯度、临界点与 Hessian 判断 #梯度 #临界点 #Hessian **题目：** 38. f(x, y) = x² - 2 xy + 4 y²。(1) 写出梯度。(2) 求临界点。(3) Hessian 第一行 2, -2，第二行 -2,8。用它的迹和行列式判断这个临界点是极小、极大还是鞍点。 **解答：** 已知函数：$$f(x, y) = x^2 - 2xy + 4y^2$$ ### (1) 写出梯度 梯度 $$\nabla f(x, y)$$ 是由偏导数组成的向量。 - 对 $$x$$ 求偏导：$$\frac{\partial f}{\partial x} = 2x - 2y$$ - 对 $$y$$ 求偏导：$$\frac{\partial f}{\partial y} = -2x + 8y$$ 所以，梯度为： $$\nabla f(x, y) = (2x - 2y, \ -2x + 8y)$$ ### (2) 求临界点 临界点（驻点）是梯度为零向量的点，即 $$\nabla f(x, y) = (0, 0)$$。 令： $$\begin{cases} 2x - 2y = 0 \\ -2x + 8y = 0 \end{cases}$$ 由第一个方程得：$$x = y$$ 代入第二个方程：$$-2(y) + 8y = 0 \Rightarrow 6y = 0 \Rightarrow y = 0$$ 所以 $$x = 0$$ 临界点为：$$(0, 0)$$ ### (3) 用迹和行列式判断临界点类型 题目已给出 Hessian 矩阵： $$H = \begin{pmatrix} 2 & -2 \\ -2 & 8 \end{pmatrix}$$ 计算迹（Trace）和行列式（Determinant）： - 迹 $$tr(H) = 2 + 8 = 10$$ - 行列式 $$det(H) = (2 \times 8) - (-2 \times -2) = 16 - 4 = 12$$ 判断规则（二元函数极值判别法）： 设 $$A = f_{xx}$$（即 Hessian 第一行第一列），$$D = det(H)$$。 1. 如果 $$D > 0$$ 且 $$A > 0$$（或迹 $$>0$$），则为极小值点。 2. 如果 $$D > 0$$ 且 $$A < 0$$（或迹 $$<0$$），则为极大值点。 3. 如果 $$D < 0$$，则为鞍点。 代入判断： - $$D = 12 > 0$$ - $$A = 2 > 0$$（同时迹 $$10 > 0$$） 因为行列式大于 0 且对角线元素（或迹）为正，说明 Hessian 矩阵是正定的。 结论：该临界点 $$(0, 0)$$ 是极小值点。 --- ## 6. 为什么临界点是梯度为零向量的点 #临界点 #梯度 **题目：** 临界点为什么是梯度为零向量的点 **解答：** 这是一个非常核心的微积分概念。简单来说：因为梯度指向的是函数值“上升最快”的方向。如果梯度为零，就意味着在这个点上，各个方向都没有“上升”的趋势了，所以它只能是“平地”，也就是极值点（或鞍点）。 我们可以从三个角度来理解为什么临界点要定义为“梯度为零向量的点”： ### 1. 直观的几何想象（爬山比喻） 想象你在爬一座山，函数 $$f(x,y)$$ 就是你的海拔高度。 - 梯度 $$\nabla f$$：是一个向量，它永远指向你脚下最陡峭的上坡方向。 - 如果你站在一个山顶（极大值）或山谷底（极小值）：你环顾四周，发现无论往哪个方向迈步，都是下坡（或平路），没有任何一个方向是“上坡”的。既然没有上坡方向，那么“最陡上坡方向”这个向量就不存在，或者说它是零向量。所以此时 $$\nabla f = (0,0)$$。 - 如果你站在山坡的半山腰：你肯定能找到一个向上的方向（梯度不为零），所以你不可能停在那里不动。 ### 2. 一元函数的类比（从导数到梯度） 在高中或大一上学期，我们学一元函数 $$y = f(x)$$ 时，求极值的方法是令导数 $$f'(x) = 0$$。 - 在一维世界里，导数 $$f'(x)$$ 代表切线的斜率。如果切线是水平的（斜率为 0），那个点就是极值点（或拐点）。 - 在二维世界里（$$f(x,y)$$），梯度 $$\nabla f$$ 就是导数 $$f'(x)$$ 的推广。它代表的是切平面的法向量或者最陡方向。 - 把“导数为零”推广到多维空间，自然就变成了“梯度为零向量”。也就是说，在这个点上，切平面是水平的。 ### 3. 严格的数学推导（费马引理） 从数学定义上讲，如果 $$(x_0, y_0)$$ 是函数的极小值点，那么： - 当你固定 $$y = y_0$$，只让 $$x$$ 变化时，$$(x_0, y_0)$$ 必须是一元函数 $$g(x) = f(x, y_0)$$ 的极小值点。根据一元函数的费马引理，必须有 $$g'(x_0) = 0$$，也就是偏导数 $$f_x(x_0, y_0) = 0$$。 - 同理，固定 $$x = x_0$$，只让 $$y$$ 变化时，必须有偏导数 $$f_y(x_0, y_0) = 0$$。 既然两个偏导数都必须是 0，那么由它们组成的向量——梯度 $$\nabla f = (f_x, f_y)$$，自然就是零向量 $$(0,0)$$ 了。 特别提醒（重要考点）： “梯度为零”只是成为极值点的必要条件，不是充分条件。 也就是说： - 极值点 一定是 梯度为零的点。 - 但梯度为零的点，不一定 是极值点，它还有可能是鞍点（就像马鞍的中心，往前后走是下坡，往左右走是上坡）。 这就是为什么我们在第(3)问中，算出梯度为零的临界点 $$(0,0)$$ 后，还需要用 Hessian 矩阵（迹和行列式）来进一步判断它到底是极小值、极大值还是鞍点。 --- ## 7. 严格局部极小函数值为零的含义 #严格局部极小 **题目：** 是严格局部极小函数值为几？严格局部极小函数值是几？零。记住了啊零 什么意思 **解答：** 这句话是在解释一个具体的数学结论，结合我们刚才算的题目（第 38 题），它的完整意思是： “我们刚才求出的那个临界点 $$(0,0)$$，不仅是局部极小值点，而且是严格局部极小值点。此时，这个极小值对应的函数值 $$f(0,0)$$ 等于 0。记住，这个极小值是 0。” 下面我把这句话拆开，帮你理清背后的逻辑： ### 1. 什么是“严格局部极小”？ 在微积分里，“局部极小”是指在这个点附近，函数值最小。 - 非严格局部极小：可能存在一条平的线或平的谷底，使得周围有些点的函数值等于这个极小值（比如 $$f(x)=x^4$$ 在 $$x=0$$ 处，附近有无数个点函数值也是 0）。 - 严格局部极小：在这个点附近，除了这个点本身，其他任何点的函数值都严格大于这个极小值（比如 $$f(x)=x^2$$ 在 $$x=0$$ 处，$$f(0)=0$$，周围所有的 $$f(x)>0$$）。 ### 2. 为什么题目里说“函数值是零”？ 回到第 38 题的函数：$$f(x, y) = x^2 - 2xy + 4y^2$$。 我们求出了临界点是 $$(0,0)$$，并且通过 Hessian 矩阵判断出它是极小值点。 那么，极小值到底是多少呢？就是把临界点代入原函数： $$f(0, 0) = 0^2 - 2(0)(0) + 4(0)^2 = 0$$ 所以，这个严格局部极小值就是 0。 ### 3. 为什么说“记住了啊零”？（重点！） 这句话是老师或讲课人在敲黑板强调，因为这里有一个非常容易犯的概念混淆： - 错误说法：“严格局部极小点是 0”。（错，极小点是坐标 $$(0,0)$$） - 正确说法：“严格局部极小值是 0”。（对，是函数值 $$f=0$$） 而且，这个函数 $$f(x,y) = x^2 - 2xy + 4y^2$$ 比较特殊，它是一个正定二次型。 你可以把它配方： $$f(x,y) = (x - y)^2 + 3y^2$$ 因为平方项永远大于等于 0，所以这个函数全局的最小值就是 0（当且仅当 $$x=0, y=0$$ 时取到）。 所以老师强调“记住了啊零”，潜台词是：“这个曲面是一个开口向上的碗，碗底就在原点，碗底的高度（函数值）就是 0，别算错了或者记混了。” --- --- ## 12. 牛顿法一步与梯度下降一步 #牛顿法 #梯度下降 **题目：** 41. f(x) = 2(x - 1)²，起点 x = 5，学习率取 0.1。(1) 优化牛顿法一步。(2) 梯度下降一步。(3) 谁到达了极小点？ **解答：** 我们一步步来解这道优化题。 已知函数： $$f(x) = 2(x - 1)^2$$ 起点：$$x_0 = 5$$，学习率 $$\eta = 0.1$$。 先求导数和二阶导数： $$f'(x) = 4(x - 1)$$ $$f''(x) = 4$$ 这个函数的极小值点在 $$x = 1$$（因为 $$f'(1)=0$$，且 $$f''(1)=4>0$$）。 ### (1) 优化牛顿法一步 牛顿法的迭代公式为： $$x_{n+1} = x_n - \frac{f'(x_n)}{f''(x_n)}$$ 代入 $$x_0 = 5$$： $$f'(5) = 4(5 - 1) = 16$$ $$f''(5) = 4$$ 所以： $$x_1 = 5 - \frac{16}{4} = 5 - 4 = 1$$ 牛顿法一步结果：$$x_1 = 1$$ ### (2) 梯度下降一步 梯度下降的迭代公式为： $$x_{n+1} = x_n - \eta \cdot f'(x_n)$$ 代入 $$x_0 = 5$$，$$\eta = 0.1$$： $$f'(5) = 16$$ $$x_1 = 5 - 0.1 \times 16 = 5 - 1.6 = 3.4$$ 梯度下降一步结果：$$x_1 = 3.4$$ ### (3) 谁到达了极小点？ - 牛顿法一步后：$$x_1 = 1$$，而极小点就是 $$x = 1$$。牛顿法一步直接到达了极小点。 - 梯度下降一步后：$$x_1 = 3.4$$，离极小点 $$x = 1$$ 还有距离，没有到达。 答案：牛顿法到达了极小点。 补充说明： 这是因为 $$f(x) = 2(x-1)^2$$ 是一个二次函数，而牛顿法对于二次函数（Hessian 矩阵正定且为常数）可以在一部之内直接跳到极小值点。梯度下降则只能按学习率一步步逼近，无法一步到位。