---
tags: [CANN, 大模型, 学习导航]
doc_type: knowledge-index
creation: 2026-10-15
---

# 大模型与算子专题学习导航

完整资料对应关系见[CANN 课程 PPT 与笔记对应清单](CANN课程PPT与笔记对应清单.md)，覆盖 `F:/教材/杂论/CANN` 中的 22 份 PPTX。

## 计算基础与框架实践

1. [人工智能发展与大模型计算本质](人工智能发展与大模型计算本质.md)：从 AI 的发展理解模型、算子与硬件计算的关系。
2. [CANN 软件栈与 Torch NPU 实践](CANN软件栈与Torch%20NPU实践.md)：Tensor、CANN 组件、执行路径与 NPU 实践。

## 推理与部署路线

1. [大语言模型与推理系统](大语言模型与推理系统.md)：文本如何进入模型，Transformer 如何计算，Prefill 与 Decode 如何生成回答。
2. [大模型推理优化](大模型推理优化.md)：根据瓶颈选择融合算子、图模式、KV 分页和多卡并行。
3. [大模型量化原理与部署](大模型量化原理与部署.md)：量化映射、误差、W8A8、SmoothQuant 及量化产物的运行链路。

量化知识集中在第三篇，推理优化篇只说明量化解决哪类瓶颈。

## 推理优化进阶路线

1. [模型结构解析与 NPU 迁移诊断](大模型结构解析与NPU迁移诊断.md)：结构适配、GQA/MLA、MoE 与瓶颈定位。
2. [NPU 推理并行策略设计](NPU推理并行策略设计.md)：张量、专家、上下文及流水线并行的通信代价。
3. [推理框架与 KV 缓存调度](推理框架与KV缓存调度.md)：分页、前缀复用、分层缓存与 PD 分离。
4. [MTP 投机解码与多流预取](MTP投机解码与多流预取.md)：候选验证、多流依赖与数据预取。
5. [低比特量化优化与 AMCT 实践](低比特量化优化与AMCT实践.md)：低比特格式、校准算法与部署链路。
6. [多模态视频生成推理优化](多模态视频生成推理优化.md)：DiT、跨步缓存、FP8 与稀疏注意力。

通用并行原理集中在并行策略篇，视频篇侧重生成模型特有的优化；量化基础与低比特工程分开，避免重复推导。

## Agent 辅助开发与优化

基础概念先读[Prompt、RAG、Skill 与 MCP 的关系](Prompt、RAG、Skill与MCP的关系.md)，区分任务要求、知识检索、流程复用与工具连接。

1. [CANNBot 智能体与算子开发工作流](CANNBot智能体与算子开发工作流.md)：算子开发入口、工具与实践。
2. [Skill 驱动的模型推理优化工作流](Skill驱动的模型推理优化工作流.md)：从正确基线到并行、缓存、融合、量化和图模式。

## 算子开发路线

1. [异构计算基础与 CANN 架构](异构计算基础与CANN架构整理.md)：系统组成与编程模型。
2. [Ascend C 算子基础](Ascend%20C算子基础整理.md)：Hello World 与 Add。
3. [Ascend C SIMD 硬件内存与同步](Ascend%20C%20SIMD硬件内存与同步.md)：核类型、内存预算、流水线依赖、流和事件。
4. [CMake 与 Ascend C 编译入门](CMake与Ascend%20C编译入门.md)：构建配置和编译运行。SIMD 篇只补充毕昇直编、仿真模式及架构变量。

## Ascend C 进阶课程

按“实现计算 → 组合计算 → 接入框架 → 图执行”学习，调试调优贯穿整个过程：

1. [Memory 矢量算子开发](Ascend%20C%20Memory矢量算子开发.md)：指针、手工 Tensor、TPipe/TQue，搬运单位、掩码与 Softmax。
2. [矩阵算子与数据布局](Ascend%20C矩阵算子与数据布局.md)：ND/Zz/Zn/Nz、Mmad、K 维累加、尾块与 Matmul 高阶 API。
3. [融合算子与核间协同](Ascend%20C融合算子与核间协同.md)：AIC/AIV 分工、GM 中转、核间同步与 KFC。
4. [接入 PyTorch 单算子](Ascend%20C接入PyTorch单算子.md)：Schema、PrivateUse1、当前流、动态库与 pybind11。
5. [算子入图与图执行](Ascend%20C算子入图与图执行.md)：Meta、TorchAir、GE、AclGraph 捕获重放与 ES 构图。
6. [调试与性能调优](Ascend%20C调试与性能调优.md)：数值校验、Sanitizer、Profiler、Roofline、双缓冲、Bank 与 Scalar 优化。

内存层级和基本同步集中在原有 SIMD 篇；队列生命周期集中在矢量篇；矩阵布局集中在矩阵篇；KFC 和跨核通信集中在融合篇。其余笔记通过链接衔接，避免反复展开同一套基础知识。进阶配图保存在 `.assets/AscendC进阶`，并嵌入对应知识段落。

## 训练与策略优化路线

1. [SFT 监督微调与 FSDP 训练](SFT监督微调与FSDP训练.md)：训练闭环、标签掩码、显存分片、Wordle 基线和评测。
2. [Wordle 强化学习与 GRPO](Wordle强化学习与GRPO.md)：多轮采样、奖励、组内优势、策略更新和稳定性诊断。

SFT 篇集中讲训练公共概念和 Wordle 协议，RL 篇在此基础上讲环境交互与策略优化。

## 用问题选择入口

| 问题 | 阅读位置 |
| --- | --- |
| Token、Embedding、Q/K/V 分别是什么？ | 模型与推理系统 |
| 首字慢、输出慢、并发低分别怎么查？ | 推理优化 |
| INT8 如何表示原来的浮点数？ | 量化原理与部署 |
| UB 为什么不能全部分给输入输出？ | SIMD 硬件内存与同步 |
| 为什么 label 为 -100 的文字仍能被模型看到？ | SFT 监督微调 |
| Reward 上升却猜不中，训练出了什么问题？ | 强化学习与 GRPO |

基础专题图片保存在 `.assets/大模型与算子专题`，新增推理专题图片保存在 `.assets/CANN推理专题`，随相关知识嵌入各篇。图中的性能数字和实验超参数应结合正文中的实验条件理解。

## 全文件夹阅读约定

以上路线按学习目标分组；上一篇/下一篇表示组内推荐阅读顺序，前置知识另列真实依赖。硬件和推理机制按自然科学规则整理，编译、接入与工作流按通用规则整理。公式与代码服务于技术解释，不单独拆成数学证明笔记；复习问答保留在所属专题内。

初学时先读 AI 计算本质、异构计算与软件栈，再选择算子开发或模型推理路线。训练与智能体工作流属于专题选学，调试调优可随实践反复查阅。

### 两组长篇的分篇入口

- [[计算机系/昇腾与CANN/CMake与Ascend C编译入门|CMake与Ascend C编译入门]]

[[计算机系/昇腾与CANN/01 CMake最小配置与编译选项|01 CMake最小配置与编译选项]]：理解最小工程、目标属性、编译选项和生成器表达式。

[[计算机系/昇腾与CANN/02 Ascend C源码组织与编译运行|02 Ascend C源码组织与编译运行]]：区分源码职责，完成终端或 Notebook 中的配置、编译和运行。

[[计算机系/昇腾与CANN/03 多级CMake工程与构建检查|03 多级CMake工程与构建检查]]：组织子目录与公共库，并检查完整工程的依赖和构建配置。
- [[计算机系/昇腾与CANN/CANNBot智能体与算子开发工作流|CANNBot智能体与算子开发工作流]]

[[计算机系/昇腾与CANN/04 CANNBot架构与环境配置|04 CANNBot架构与环境配置]]：理解 Teams、Agents、Skills 分工，准备并校验开发环境。

[[计算机系/昇腾与CANN/05 CANNBot开发流程与质量验证|05 CANNBot开发流程与质量验证]]：串联需求、实现、精度、测试、排障与性能验收。

[[计算机系/昇腾与CANN/06 CANNBot算子实战与知识复用|06 CANNBot算子实战与知识复用]]：按 Abs 示例完成开发验收，并回看 SiLU 演示与知识复用规划。

### 同步专题、课堂记录与资料索引

- [[计算机系/昇腾与CANN/流水线双向同步原理|流水线双向同步原理]]
- [[计算机系/昇腾与CANN/day1昇腾AI产业生态与CANN架构基础|day1昇腾AI产业生态与CANN架构基础]]
- [[计算机系/昇腾与CANN/CANN课程PPT与笔记对应清单|CANN课程PPT与笔记对应清单]]

### 原文备份

[[计算机系/昇腾与CANN/拆分前完整备份|拆分前完整备份]] 保存本次整理前的 30 篇完整原文，并提供原文件压缩包。