# Day 11｜概率统计与算法应用：从随机样本到 AI 模型

概率描述随机结果的规律，统计利用样本认识总体；矩阵、优化和数论则把这些思想连接到注意力、推荐、排名与密码系统。

## 一、概率论与数理统计

### 1. 样本空间、事件与随机变量

样本空间包含试验的可能结果，事件是其中的子集；随机变量把结果映射为数值。概率非负、全集概率为 1，互斥事件的并集概率可以相加。

离散分布给单个取值分配概率；连续分布通常用密度积分计算区间概率。连续模型中，单点概率可以为零，但并不意味着抽样不可能取到某个具体数值。

### 2. 期望、方差与协方差

$$
\mu=E[X],\qquad \operatorname{Var}(X)=E[(X-\mu)^2].
$$

期望描述平均水平，方差描述波动。一般情况下：

$$
\operatorname{Var}(X+Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)+2\operatorname{Cov}(X,Y).
$$

独立且二阶矩有限时，协方差为零，方差才可直接相加。有放回独立抽样与不放回抽样的依赖结构不同，不能机械套同一公式。

### 3. 独立同分布与大数定律

I.I.D. 表示样本相互独立且来自同一分布。在相应条件下，样本均值 $\bar X_n$ 收敛到总体期望：弱大数定律讨论依概率收敛，强大数定律讨论几乎处处收敛。

这解释了重复采样为何能估计平均值，但不保证每增加一个样本就更准确，也不保证有限次数盈利。

### 4. 标准误与样本量

独立同分布、方差有限时，有精确等式：

$$
\operatorname{Var}(\bar X_n)=\frac{\sigma^2}{n},\qquad
\operatorname{SE}(\bar X_n)=\frac{\sigma}{\sqrt n}.
$$

样本量增至四倍，标准误才减半。总体标准差未知时，实践中通常用样本标准差估计；样本存在相关性时，不能直接沿用独立样本公式。

### 5. 切比雪夫不等式：不依赖正态假设的界

$$
P(|X-\mu|\ge k\sigma)\le\frac1{k^2},\qquad k>0,\ \sigma>0.
$$

只需有限方差，就能限制偏离均值的概率。它适用范围广，但可能比较保守；用于样本均值时可得到 $P(|\bar X_n-\mu|\ge\varepsilon)\le\sigma^2/(n\varepsilon^2)$。

### 6. 中心极限定理与 Z 分数

独立同分布且方差有限、非零时：

$$
\frac{\sqrt n(\bar X_n-\mu)}{\sigma}\xrightarrow{d}N(0,1).
$$

大数定律说明均值趋向哪里，中心极限定理描述标准化后的波动形状。样本均值的 Z 分数为 $Z=(\bar X_n-\mu)/(\sigma/\sqrt n)$，衡量偏离了几个标准误。

例如伯努利成功率 $p=0.2$、样本量 $n=1600$ 时，标准误为 0.01；观察频率 0.23 对应 Z=3。但下一次独立试验的成功率仍是 0.2，不会为了“补偿历史”而改变。

### 7. A/B 测试：比较效果也要估计不确定性

比较两组转化率或均值时，应结合随机分组、样本量和误差范围。观测差异不等于真实提升，统计显著也不等于业务收益足够大。

## 二、从概率模型到采样计算

### 1. 蒙特卡洛：用随机平均估计期望

$$
E[f(X)]\approx\frac1N\sum_{i=1}^{N}f(X_i).
$$

独立采样且 $f(X)$ 方差有限时，估计量标准误按 $1/\sqrt N$ 缩小。它用于数值积分、风险模拟和难以解析计算的期望；效率还取决于采样设计与方差。

### 2. 常见分布与 NumPy

伯努利描述单次成功或失败，二项分布描述固定次数中的成功总数，正态分布描述许多连续波动模型，泊松分布可建模适当条件下的事件计数。

```python
import numpy as np

rng = np.random.default_rng(42)
success_counts = rng.binomial(n=10, p=0.2, size=1000)
normal_samples = rng.normal(loc=0, scale=1, size=1000)
```

二项采样中，`n=10` 是每次实验的试验次数，`size=1000` 是重复实验的组数。固定种子方便复现实验，不改变目标分布的定义。

### 3. 自定义分布怎么采样？

| 情况 | 方法与直觉 |
| --- | --- |
| 已知离散取值及概率 | `rng.choice(..., p=...)` 按权重抽取 |
| 可以求分布函数的逆 | 逆变换：$U\sim U(0,1)$，取 $X=F^{-1}(U)$ |
| 有易采样的包络分布 | 拒绝采样：提议样本，再按接受概率筛选 |
| 多维相关正态模型 | 指定均值向量与协方差矩阵联合采样 |
| 只有一批观测数据 | Bootstrap 重采样，或 KDE 估计密度后采样 |
| 复杂高维目标分布 | MCMC 构造以目标分布为平稳分布的链 |

拒绝采样需要有效的包络上界；MCMC 样本通常相关，需要关注收敛与有效样本量。检验得到 $p>0.05$ 只表示未拒绝假设，不是证明样本“完全服从目标分布”。

## 三、工业算法背后的数学

### 1. Transformer 与自注意力

输入表示 X 经过线性投影得到 $Q=XW_Q$、$K=XW_K$、$V=XW_V$：

$$
\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V.
$$

Q 表示查询，K 用于匹配，V 提供要汇总的内容。$QK^T$ 形成匹配分数，除以 $\sqrt{d_k}$ 调节尺度，softmax 按行转成权重，再加权汇总 V。

Q、K、V 本身不是三个概率分布，点积也不是自动归一化后的余弦相似度。位置编码补充顺序信息；具体采用哪种位置机制取决于模型架构。

### 2. Adam：梯度统计与参数更新

Adam 对梯度及其平方分别作滑动平均，经过偏差修正得到 $\hat m_t$、$\hat v_t$，更新为：

$$
\theta_{t+1}=\theta_t-\eta\frac{\hat m_t}{\sqrt{\hat v_t}+\epsilon}.
$$

它结合动量与逐坐标自适应尺度，常用于大规模训练。二阶矩是梯度平方的统计量，不是二阶导数，也不带来普遍的二阶收敛保证。

### 3. 矩阵分解与推荐系统

用户—物品评分矩阵可以近似为：

$$
R\approx UV^T,\qquad \hat r_{ui}=u_u^Tv_i.
$$

U 的形状为“用户数 × 隐维数”，V 为“物品数 × 隐维数”。学习隐向量后，用点积预测未观察的评分；训练通常只对已观测交互构造损失，并加入正则化。

低秩近似压缩了表示，也假设偏好能由较少的潜在因素解释，效果仍取决于数据与训练目标。

### 4. PageRank 与马尔可夫链

马尔可夫性表示：给定当前状态后，下一步的条件分布不再额外依赖更早历史。描述一条链需要状态空间、转移规则与初始分布。

采用行随机矩阵 P 时，$p_{t+1}=p_tP$，平稳分布满足 $\pi P=\pi$。PageRank 将链接访问与随机跳转结合；合适的阻尼、跳转和悬挂节点处理帮助建立唯一、可收敛的排名分布。

这将图结构、概率和特征向量连接起来，也为网络中的节点重要性分析提供思路。

### 5. 椭圆曲线密码与后量子密码

椭圆曲线密码在有限域上的曲线点群中运算。给定点 P 和 $Q=kP$，求 k 的椭圆曲线离散对数问题，是常见安全性基础之一；实际方案还依赖参数和实现安全。

具备足够规模的容错量子计算机可用 Shor 算法威胁这类难题。后量子密码研究抵抗已知量子攻击的方案，并不等同于同源密码；同源方向研究保留曲线群结构的特定映射，某个数学方向也不意味着其中所有协议都安全。

### 6. 傅里叶变换与 FFT

采用一种常见约定，傅里叶变换写为：

$$
\hat f(\omega)=\int_{-\infty}^{\infty}f(t)e^{-i\omega t}\,dt.
$$

它把时间或空间表示转换为频率表示，用于频谱分析、滤波和卷积计算。离散傅里叶变换处理有限采样序列，FFT 则是一类快速计算算法，常将运算量从 $O(N^2)$ 降至 $O(N\log N)$。

频域中的乘法可用于计算卷积，但离散情况下需要区分循环卷积与线性卷积，并按需补零。

## 四、十一天的知识连接

集合与逻辑界定对象和规则；向量与矩阵表达数据和关系；导数与优化指导更新；分解帮助提取结构；概率统计刻画样本与不确定性。

**分解与逼近不是一句口号，而是一组具体做法：选好表示，建立可计算模型，控制误差，再检验结果是否适合实际问题。**