# 导数、偏导与梯度

[[MCS/day5/00 学习指南|day5 学习指南]] · [[MCS/00 MCS学习总览|十一天总览]] · [[MCS/day5/阅读核验与疑问|阅读核验与疑问]] · 下一篇：[[MCS/day5/02 二次损失的梯度下降与停止条件|二次损失的梯度下降与停止条件]]

> 来源：[[MCS/day5导数与梯度|day5导数与梯度]]。用途：主线。原有推导、追问与解答保留；阅读时请结合本日核验说明。

导数是某一点在函数上瞬时变化的速率
函数值叫作 being，一个输入输出的值
导数叫作 becoming，瞬时变化率
在几何意义上，便是切线斜率，切线与函数相交的点，叫作切点
启示：
方向比位置更重要
活在当下，但要看向未来
趋势大于现状

数学世界里最为性感的知识模块，它用最为冷静的极限，定义了最为炽热的“变化”

求导，沿着负方向更新参数
机器学习的turbo，梯度下降

牛顿 物理：某一时刻速度的大小为多少？时间为 0、路程为 0
莱布尼茨 数学、哲学：一条曲线在某一点的切线斜率为多少？
“微积分”用极限点思想解决瞬时变化率
谁先发明的呢？
莱布尼茨的符号：$\frac{dy}{dx}$ 和 $\int$

柯西与极限的严格化
维尔斯特拉斯等人的严格证明
数值计算、code、梯度下降 算法
底层都是“极限”思想
计算机不可能到达 0,只能近似
柯西最速下降法：每一步都让函数下降的方向最快

加速度是一阶导数。
加速度的变化率：路程对于时间的二阶导数。如果加速度在增加，二阶导数为正。
这个坡度就叫作梯度。
梯度是多变量函数的导数，它指向函数值增长最快的方向
如果要找函数值
最小值，就是往梯度反方向走
计算机世界里，物理运动不是，而是优化问题
机器学习：最小化损失函数
深度学习：最小化交叉熵
推荐系统：最小化预测误差：
量化交易：最大化交易，最小化风险

求极值，必须用到导数和梯度

CV 模型预测：方向 敏感度
模型参数太多
NNW 假设 1 亿参数 一个方向 损失函数下降最快
梯度下降：参数=参数-学习率 x 梯度
CS 从数据中寻找 规律
监督学习
无监督学习
强化学习：
DL：链式法则
世界充满变化，计算机充满了优化
导数的定义

$$f\prime \left( x_0 \right) =\lim_{\Delta x\rightarrow 0} \frac{\Delta y}{\Delta x}=\lim_{\Delta x\rightarrow 0} \frac{f\left( x_0+\Delta x \right) -f\left( x_0 \right)}{\Delta x}$$

$$f\prime \left( x\right) =\lim_{\Delta x\rightarrow 0} \frac{\Delta y}{\Delta x}=\lim_{\Delta x\rightarrow 0} \frac{f\left( x+\Delta x \right) -f\left( x \right)}{\Delta x}$$

有了多个变量
偏导数 的定义
$$\frac{\partial f}{\partial x}\mid_{\begin{array}{c}
	x=x_0\\
	y=y_0\\
\end{array}}^{}=f_x\left( x_0,y_0 \right) =\lim_{\Delta x\rightarrow 0} \frac{f\left( x_0+\Delta x,y_0 \right) -f\left( x_0,y_0 \right)}{\Delta x}
\\
\frac{\partial f}{\partial y}\mid_{\begin{array}{c}
	x=x_0\\
	y=y_0\\
\end{array}}^{}=f_y\left( x_0,y_0 \right) =\lim_{\Delta y\rightarrow 0} \frac{f\left( x_0,y_0+\Delta y \right) -f\left( x_0,y_0 \right)}{\Delta y}$$

简单理解：把其他变量作为常数，只对一个变量求导

梯度
把所有的偏导数放到一起 向量 梯度
$\nabla f=\left[\frac{\partial f}{\partial x},\frac{\partial f}{\partial y},\frac{\partial f}{\partial z},\ldots\right]$
重点方向 大小
梯度指向函数值增长最快的方向

要让函数值下降最快，也就是沿着负梯度的方向走

求导法则：
$$\left( C \right) \prime =0
\\
\left( x^{\mu} \right) \prime =\mu x^{\mu -1}\\
\left( \sin x \right) \prime =\cos x
\\
\left( \cos x \right) \prime =-\sin x
\\
\left( \tan x \right) \prime =\sec ^2x
\\
\left( \cot x \right) \prime =-\csc ^2x
\\
\left( \sec x \right) \prime =\sec x\tan x
\\
\left( \csc x \right) \prime =-\csc x\cot x\\
\left( a^x \right) \prime =a^x\ln a
\\
\left( e^x \right) \prime =e^x
\\
\left( \log _ax \right) \prime =\frac{1}{x\ln a}
\\
\left( \ln x \right) \prime =\frac{1}{x}\\
\left( \arcsin x \right) \prime =\frac{1}{\sqrt{1-x^2}}
\\
\left( \arccos x \right) \prime =-\frac{1}{\sqrt{1-x^2}}
\\
\left( \arctan x \right) \prime =\frac{1}{1+x^2}
\\
\left( \operatorname{arccot} x \right)' = -\frac{1}{1+x^2}$$

运算法则：
$$\left( u\pm v \right) \prime =u\prime \pm v\prime 
\\
\left( Cu \right) \prime =Cu\prime 
\\
\left( uv \right) \prime =u\prime v+uv\prime 
\\
\left( \frac{u}{v} \right) \prime =\frac{u\prime v-uv\prime}{v^2}\left( v\ne 0 \right) $$


链式法则：
$$y=f\left( u \right) ,\;u=g\left( x \right) 
\\
\frac{\mathrm{d}y}{\mathrm{d}x}=\frac{\mathrm{d}y}{\mathrm{d}u}\cdot \frac{\mathrm{d}u}{\mathrm{d}x}$$

泰勒展开
$$f\left( x \right) =f\left( x_0 \right) +f\prime \left( x_0 \right) \left( x-x_0 \right) +\frac{f\prime \prime \left( x_0 \right)}{2!}\left( x-x_0 \right) ^2+\cdots +\frac{f^{\left( n \right)}\left( x_0 \right)}{n!}\left( x-x_0 \right) ^n+R_n\left( x \right) 
\\
=f\left( x_0 \right) +\sum_{k=1}^n{\frac{f^{\left( k \right)}\left( x_0 \right)}{k!}\left( x-x_0 \right) ^k}+R_n\left( x \right) $$
f(x)雕塑
f(x 0)/f'(x 0)...积木
利用积木拼起来雕塑的完整
一次：曲线的切线
二次：曲线弯曲的弧度
三次：弧度如何扭曲

大模型的幻觉

幻觉是好的。


梯度下降的例子