显存占用
FP 16 权重约为 远超单卡显存容量
本身模型也很难放在单卡显存上
上下文 KVCache 也会成为瓶颈
宽带瓶颈
算力不足
在搬运过程中 会频繁读写
时延与吞吐
量化——将高精度数值映射到低精度数值（INT 8/FP 4）
通过降低数值比特实现显存占用减小、降低带宽压力、算力翻倍、高吞吐与低时延

数值格式概览
不同数值格式在精度和效率之间做出不同权衡

训练好的模型权重
离线完成，不影响推理流程
最安全的量化方式
典型：W 8 A 16/W 4 A 16
激活量化

推理过程中的中间激活张量
量化函数
在线完成 ，随输入变化
量化难度较大，偏离集群很大的值对 outliner 敏感
W 8 A 8
KV Cache 量化 
Attention 中的 Key/Value

在线完成，随输入变化

量化粒度
同一组数值
共享同一组量化参数
粒度越细，量化误差通常越小，需要存更多的量化参数
一列、一行量化
一块量化

INT 8 量化

一组 FP 16 /FP 32/BF 16 数据->一组 INT 8 +scale
对称 INT 8
非对称 INT 8 量化

Round 舍入
Clip 截断
Outliner 离群值
少量极端值拉大范围

W 8 A 8 量化方案
有些层不是很敏感，所以可以量化 
W 8 A 8

静态量化：专家，模拟型测试后的量化参数 用少量代表数据去运行它，然后


校准：用少量
校准数据质量直接影响量化精度——应覆盖模型实际处理的主要场景和输入分布
在整个过程中不变化
动态量化：比静态量化精度更高，在运行过程中临时计算
但是有计算开销，额外的代价

SmoothQuant 量化方案

激活 outlier 少数激活值极大——平滑迁移，数学等价实现
给它一个缩放矩阵，去
新得到的 X‘’ 更好量化，W‘’也保持了精度
对角线上
SmoothQuant 核心公式  
$Y = X \cdot W = (X / s) \cdot (s \times W) = X' \cdot W'$  
其中 $s$ 是对角矩阵，变换后的 $X'$ 更易量化，变换后的 $W'$ 仍保持精度  
$s_j = \max(|X_{j}|)^{\alpha} / \max(|W_{j}|)^{1-\alpha}$

最可靠 的 PTQ 方案之一


PTQ:训练完成后 校准+离线转换+验证 快速部署，成本低
QAT 训练/微调中 前项模拟量化 反向更新参数 更低 bit（4 bit）或更高精度


收益
显存占用低
内存带宽需求降低
吞吐量提升
推理时延降低
般的快、处理快、算得快、
代价
模型精度损失
需要校准数据和量化流程
极低 bit 可能显著降质

FP 8（E 4 M 3/E 5 M 2）
MXFP 8
MXFP 4
需要联合量化算法协同降低精度损失

| 算法          | 核心思想             | 技术特点                        | 运用场景           |
| :---------- | :--------------- | :-------------------------- | :------------- |
| RTN         | Round-To-Nearest | 直接四舍五入到最近整数                 | 基线方法，精度最低      |
| GPTQ        | 逐层量化，误差累积补偿      | OBQ 优化，逐层更新权重               | 权重量化，W 4 场景    |
| AWQ         | 保护重要权重通道         | 基于激活幅度识别 salient 权重         | 权重量化，精度更优      |
| SmoothQuant | 迁移激活 outlier 到权重 | 数学等价变换，$x/s$ 和 $s \times W$ | W 8 A 8，工业主流   |
| QuaRot      | 旋转激活空间消除 outlier | Hadamard 旋转，更难量化            | 4 bit 量化前沿研究方向 |

GPTQ:不管是量化的 损失，还是算子融合损失，多层到后面可能会爆炸，所以说要逐层量化的累计补偿误差

从简单舍入 --误差补偿-->分布变换