MLP：特征变换 attention 已经把上下文信息汇入当前 token、MLP 继续非线性特征变换 MoE：为 token 选择专家 卡间通信 每个 Experts 都是一个 MLP（每个 MLP 对于每个领域都是专家） Dense vs MoE # DeepSeek / LLM 架构优化笔记整理 ## 一、总体主线 从 **Dense Network** 到 **MoE**，再到 **Attention 层优化**、**多模态 DiT**、**Hybrid Model**，核心目标始终是： > 在计算资源有限的前提下，让参数量、计算量、序列长度、KV 缓存、推理成本之间不再强绑定。 --- ## 二、Dense Network：以 Llama 为代表 ### 1. 基本特点 - 所有 token 共享全部参数。 - 计算复杂度与序列长度呈二次方关系。 - 推理成本随序列长度呈线性增长。 - 参数量和计算量基本成正比。 ### 2. 常见优化点 | 优化项 | 作用 | | ---------------------------- | --------------------------------------- | | MS Norm | 归一化，稳定训练 | | SwiGLU | 替代 ReLU / GELU 的 FFN 激活结构，提升效果 | | GQA | Grouped Query Attention，减少 KV 头数，降低推理缓存 | | ReLU → SwiGLU / Swish / SiLU | 激活函数演进，提升表达能力和训练稳定性 | | | | --- ## 三、MoE 架构 ### 1. 核心思想 用一组**稀疏激活的“专家”FFN 层**，替换传统 Transformer 中的**密集 FFN 层**。 也就是说： - Dense FFN：每个 token 都走同一个 FFN。 - MoE FFN：每个 token 只激活少数几个专家。 这样可以在总参数量很大的情况下，保持单次计算量相对可控。 ### 2. 公式框架 设输入为 $x$，专家集合为 $\{E_i\}_{i=1}^N$，门控网络为 $G(x)$。 **门控输出：** $$ G(x) = \text{Softmax}(\text{TopK}(W_g x)) $$ **专家概率 / 权重：** $$ g_i(x) = \begin{cases} G_i(x), & i \in \text{TopK} \\ 0, & \text{otherwise} \end{cases} $$ **MoE 输出：** $$ y = \sum_{i=1}^N g_i(x) \cdot E_i(x) $$ 实际中通常只对 Top-k 个专家求和： $$ y = \sum_{i \in \text{TopK}} g_i(x) \cdot E_i(x) $$ ### 3. 关键结论 - 参数量可以远大于计算量。 - 计算量不再与总参数量成正比。 - 难点在于：负载均衡、路由稳定性、通信开销。 --- ## 四、Attention 层优化：解决长序列问题 这一块主要围绕三个方向： 1. **减少 KV 缓存** 2. **稀疏化注意力** 3. **线性复杂度注意力** 对应： - MLA - DSA - GatedDeltaNet --- ## 五、MLA：Multi-head Latent Attention ### 1. 核心思想 对 **Key 和 Value 做压缩**，减少 KV 缓存占用，同时尽量不影响推理能力。 传统 MHA / GQA 中，KV 缓存随序列长度和头数增长很快。 MLA 通过低秩压缩 / latent 表示，把 KV 缓存压到更小。 ### 2. 基本公式变化 传统注意力： $$ \text{Attention}(Q,K,V) = \text{Softmax}\left(\frac{QK^T}{\sqrt{d}}\right)V $$ MLA 中，Key / Value 不直接完整缓存，而是先压缩成 latent： $$ c_t = W_c x_t $$ $$ K_t = W_k c_t,\quad V_t = W_v c_t $$ 推理时缓存 $c_t$，而不是完整 $K_t, V_t$。 ### 3. 与 RoPE 结合 MLA 常需要处理位置编码问题。 通常可理解为： - 对部分维度应用 RoPE； - 或对解压后的 Q/K 应用 RoPE； - 同时保持 KV latent 压缩带来的缓存优势。 常见写法是： $$ Q = W_q x,\quad K = W_k c,\quad V = W_v c $$ $$ \text{Score} = \text{RoPE}(Q)\cdot \text{RoPE}(K)^T $$ --- ## 六、DSA：DeepSeek Sparse Attention ### 1. 核心思想 用 **闪电索引器 Lightening Indexer + Top-k 稀疏筛选**，只抓关键信息。 目标： - 减少注意力计算量； - 保持接近全注意力的性能； - 提升长序列效率。 ### 2. 基本流程 1. 用 Lightening Indexer 快速评估哪些 token 重要。 2. 选 Top-k 个关键 token。 3. 只对 Top-k 做注意力计算。 可抽象为： $$ \text{Importance} = I(Q,K) $$ $$ \mathcal{S} = \text{TopK}(\text{Importance}) $$ $$ \text{Output} = \text{Attention}(Q, K_{\mathcal{S}}, V_{\mathcal{S}}) $$ ### 3. 特点 - 性能无损或近似无损； - 效率倍增； - 适合长序列。 --- ## 七、GatedDeltaNet ### 1. 核心思想 **门控 Delta 网络 = 门控机制 + Delta 更新规则 + 线性注意力变体。** 目标： - 用线性复杂度实现接近全注意力的性能； - 解决长序列下 Attention 二次复杂度问题。 ### 2. 关键词 - 线性注意力 - Delta 规则 - 门控机制 - 状态更新 - 长序列建模 可理解为一种 **RNN / SSM / Linear Attention 混合路线** 的变体。 --- ## 八、DiT：Diffusion Transformer ### 1. 核心思想 把 Transformer 能力从**语言生成**拓展到**图像连续数据生成**。 结合： - DDPM：去噪概率模型 - Transformer：可扩展 backbone ### 2. 作用 - 语言模型 → 多模态 - 离散 token → 连续数据 - 生成建模 → 扩散生成 --- ## 九、Hybrid Model Hybrid Model 通常指混合架构，例如： - Attention + MoE - Attention + Linear Attention - Transformer + SSM / RNN - Dense + Sparse - 语言 + 多模态 核心目的： > 在不同层、不同模块、不同模态之间做取舍，兼顾效果、效率和可扩展性。 --- ## 十、DeepSeek V 3.1：网络结构图与算子拆分 ### 1. 网络结构图层面 - Embedding - Transformer Block × N - 每个 Block： - Attention - MoE FFN - Norm / Residual ### 2. Attention 算子拆分 - Q 投影 - K 投影 - V 投影 - RoPE - Score 计算 - Softmax - Top-k 稀疏筛选 - KV 压缩 / Latent 缓存 - Output 投影 ### 3. MoE 算子拆分 - Gate 路由 - Top-k 专家选择 - 专家 FFN 计算 - 加权求和 - 负载均衡辅助损失 ### 4. 优化目标对应关系 | 问题 | 优化手段 | |---|---| | 计算资源有限 | MoE 稀疏激活 | | 参数量与计算量成正比 | MoE | | 长序列 KV 缓存大 | MLA | | 长序列注意力二次复杂度 | DSA / GatedDeltaNet | | 多模态生成 | DiT | | 效果与效率兼顾 | Hybrid Model | --- ## 十一、一句话总结版 - **Dense Network**：全参数共享，简单但贵。 - **MoE**：稀疏激活专家，参数量大但计算量可控。 - **MLA**：压缩 KV，省缓存。 - **DSA**：闪电索引 + Top-k，稀疏注意力。 - **GatedDeltaNet**：门控 + Delta + 线性注意力，长序列高效建模。 - **DiT**：Transformer + Diffusion，走向多模态生成。 - **Hybrid Model**：混合架构，取长补短。 - **DeepSeek V 3.1**：上述思路在结构与算子层面的工程化整合。