# Day 8｜线性方程组：消元、稳定性与矩阵分解

牛顿法、电路分析、回归和几何计算，经常归结为 $Ax=b$。这一讲不仅要解决“怎么求解”，还要理解“有没有解”和“解是否可靠”。

## 一、方程组的结构

### 1. 矩阵与增广矩阵

A 记录系数，x 是未知量，b 是右端项；$[A\mid b]$ 将系数与常数放在一起。$Ax$ 是 A 的列向量的线性组合，所以有解等价于 b 落在 A 的列空间中。

### 2. 秩、主元与自由变量

秩是线性无关行或列的最大数量，消元后可由主元数量读出。若有 n 个未知量：

- $\operatorname{rank}(A)\ne\operatorname{rank}([A\mid b])$：无解。
- 两个秩相等且等于 n：唯一解。
- 两个秩相等但小于 n：无穷多解，自由参数有 $n-\operatorname{rank}(A)$ 个。

这里讨论实数域上的方程组。方程数量多，不代表独立约束多。

### 3. 齐次方程与解的结构

$Ax=0$ 总有零解；存在非零解当且仅当 $\operatorname{rank}(A)<n$。其解空间叫零空间，维数为 $n-\operatorname{rank}(A)$。

非齐次方程有解时，全部解可写成“一个特解＋齐次通解”。它把固定部分与可自由变化的部分分开。

## 二、高斯消元与 LU 分解

### 1. 消元、选主元与回代

高斯消元用初等行变换把方程组化为阶梯形；得到上三角系统后，从最后一行向上回代。

部分选主元在当前列的剩余行中选择绝对值较大的系数作为主元，避免直接除以零或过小的数，通常改善数值稳定性，但不能消除问题本身的病态性。

### 2. LU：把消元过程保存下来

不需要交换行时可写 $A=LU$；含行交换时常写：

$$
PA=LU.
$$

L 保存消元乘数，U 是上三角矩阵。求解时先解 $Ly=Pb$，再解 $Ux=y$。A 不变而 b 改变时，可以复用分解。

常规稠密分解约需 $O(n^3)$ 运算，每个新右端项的三角求解约需 $O(n^2)$；稀疏或特殊结构可能改变实际成本。

## 三、数值稳定性：小误差为什么会被放大？

### 1. 病态问题与不稳定算法

病态描述输入扰动对精确解的影响，不稳定描述算法如何传播计算误差。即使算法稳定，病态问题仍可能给出对数据误差非常敏感的结果。

例如方程 $x+y=2$、$x+1.01y=2.01$ 的解为 $(1,1)$；第二个右端改成 2.06 后，解变为 $(-4,6)$。两条直线几乎平行，交点对扰动很敏感。

### 2. 条件数

对可逆矩阵，二范数条件数为：

$$
\kappa_2(A)=\frac{\sigma_{\max}}{\sigma_{\min}}
=\sqrt{\frac{\lambda_{\max}(A^TA)}{\lambda_{\min}(A^TA)}}.
$$

它给出相对误差最坏情形放大的尺度。实对称矩阵可用特征值绝对值的最大最小比；一般矩阵不能直接套用特征值比。

### 3. 可逆不等于数值表现良好

奇异矩阵没有逆；可逆矩阵仍可能病态。$\varepsilon I$ 的行列式可以很小，但条件数始终为 1，因此不能只用行列式大小判断敏感性。

缩放、正则化、预条件等方法可能改善具体问题，但必须明确它们改变了什么。单纯把数值变小，不等于降低条件数。

## 四、特征分解与 SVD

### 1. 特征值：特殊方向上的缩放

$Av=\lambda v$、$v\ne0$。实特征值的绝对值描述长度缩放，负号表示反向，零表示该向量被压成零。

特征分解 $A=P\Lambda P^{-1}$ 要求 A 可对角化。实对称矩阵可以选正交特征向量基；同一特征空间里随意选出的向量不一定正交。

### 2. SVD：适用于矩形矩阵的分解

$$
A=U\Sigma V^T.
$$

V 和 U 分别给出输入、输出空间的正交基，$\Sigma$ 含非负奇异值。直觉上是“换到合适的坐标—按轴缩放—换到输出坐标”；完整 SVD 中 $\Sigma$ 可以是矩形。

SVD 适用于任意实矩阵，不要求方阵或可逆，可用于低秩近似、伪逆、降维和条件数分析。

### 3. PCA：寻找保留方差最多的方向

中心化数据的协方差矩阵描述各维度共同变化。其较大特征值对应方差较大的方向，选取这些方向即可降维；也可直接对中心化数据做 SVD。

## 五、常见向量乘积不要混淆

| 运算 | 结果与直觉 | 典型用途 |
| --- | --- | --- |
| 点积 $x^Ty$ | 标量，加权求和 | 相似度、投影 |
| 外积 $xy^T$ | 矩阵，分量两两组合 | 秩一表示、矩阵更新 |
| 叉积 $x\times y$ | 三维中垂直于两向量的向量 | 法向量、有向面积 |
| Hadamard 积 $x\odot y$ | 逐元素相乘 | 门控、逐坐标更新 |
| Kronecker 积 $A\otimes B$ | 按块展开的矩阵 | 结构化多维计算 |

二维中常称“叉积”的量通常是有向面积标量，不是一个具有垂直方向的二维向量。