--- tags: [CANN] doc_type: knowledge-note 返回目录: "[[计算机系/昇腾与CANN/大模型与算子专题学习导航|大模型与算子专题学习导航]]" 下一篇: "[[计算机系/昇腾与CANN/异构计算基础与CANN架构整理|异构计算基础与CANN架构整理]]" 后续学习: ["[[计算机系/昇腾与CANN/大语言模型与推理系统|大语言模型与推理系统]]"] --- # 人工智能发展与大模型计算本质 人工智能的发展可以沿三条线理解：用什么表示知识，怎样获得解决问题的能力，以及用什么计算系统执行这些方法。符号规则、统计学习和神经网络并不是完全相互替代的年代划分，现代系统经常组合使用它们。 ## 1. 从图灵测试到数据学习 图灵机与图灵测试回答不同问题。图灵机是用状态、读写头和纸带描述计算过程的抽象模型，研究什么能够被计算；图灵测试通过对话考察机器表现。通过对话测试不是判断所有智能能力的统一充分条件。 ```mermaid graph LR %% 定义节点样式 classDef human fill:#f5f5f5,stroke:#e0e0e0,stroke-width:1px,color:#000; classDef judge fill:#002b5c,stroke:#002b5c,stroke-width:1px,color:#fff; classDef machine fill:#f5f5f5,stroke:#e0e0e0,stroke-width:1px,color:#000; %% 节点定义与内容换行 A["A
一个真人
用文字回答"]:::human C["C
询问者 (裁判)
只看文字，判断谁是人"]:::judge B["B
一台机器
用文字回答"]:::machine %% 双向连接线 A <--> C C <--> B ``` 1950 年，图灵用“模仿游戏”讨论机器的智能表现：裁判通过文字交流判断对方是人还是机器。它把抽象哲学问题转成可观察的行为，但通过某种对话测试并不证明机器具有意识，也不能涵盖视觉、行动、规划等全部能力。“30%误判率”是特定历史预测中的条件，不是所有图灵测试的统一标准。图灵测试判的是"行为像不像智能"，不是"有没有意识/理解". 1956 达特茅斯暑期研讨，麦卡锡提议命名"人工智能（Artificial Intelligence）"，AI 成为独立学科；会议的乐观假设：智能原理可被精确描述、可用机器模拟。 符号主义黄金年代：用符号表示知识用规则推理。代表成果（表格）：逻辑理论家(1955)、GPS(1957)、LISP(1958)、搜索算法/微世界(1960 s)。 理解第一代 AI 的技术范式：符号主义(用符号表示知识用规则推理)。符号主义擅长「规则清晰、确定性」的问题（定理证明、下棋），但知识需要人工逐条编码。符号主义走的是「自上而下，规则驱动」的路。 ```mermaid graph LR %% 定义节点样式 classDef inputNode fill:#fff,stroke:#7f8c8d,stroke-width:1px,color:#2c3e50; classDef outputNode fill:#dbeafe,stroke:#2563eb,stroke-width:2px,color:#1e3a8a; %% 输入节点 x1((x1)):::inputNode x2((x2)):::inputNode x3((x3)):::inputNode %% 输出节点 (使用
实现换行) y(("求和
输出 y")):::outputNode %% 连接线 x1 --> y x2 --> y x3 --> y ``` 感知机(罗森布拉特)：机器第一次能"从经验中调整权重"。图中 x 1/x 2/x 3 经连线(权重=可调旋钮).求和得输出 y.后因明斯基指出单层感知机解不了"异或(XOR)"这种非线性问题而陷入争议。感知机=加权求和+阈值判断。 感知机是连接主义的基础模型，感知机是线性模型，无法解决「异或这类非线性问题（Minsky&apert,1969)，这也成为第一次寒冬的导火索之一：引入激活函数与多层结构后即可解决——这正是多层网络与深度学习的起点。 专家系统 = 知识库+推理引擎,本质仍然是符号主义（人工写规则）。XCON 的商业成功首次证明 AI 能赚钱，但「知识靠人工逐条编写|的瓶颈，已埋下第二次寒冬的种子。 理解范式转变：从「人工写规则」到「从数据学规律」。 机器学习 = 设计算法模型，让计算机从数据中学习；特征仍由人工设计、可解释，数据规模相对较小。 符号主义靠人写规则，机器学习靠数据喂模型——这是贯穿 AI 史的一次根本转向。 机器学习最直观的入门例子，是一条直线——线性回归。 机器学习这一步仍需"人来挑特征（看什么）"，这正是它和深度学习的分界 用最简单的例子建立「建模 / 训练 / 微调 / 推理」四个核心概念。 建模（建立 X-Y 关系，如 y=ax+b,描述这个关系的表达就是算法）→ 训练（找最优 a、b 使 loss 最小）→ 微调（小改参数适配新任务）→ 推理（用新 x* 推出 y*）。 这四步是几乎所有模型（包括 GPT）的共同骨架，只是规模和复杂度的差异。 有了机器学习的基本概念，再按「监督信号从哪来」分类，就是三类机器学习。 ```mermaid flowchart LR %% 定义左侧的分组 subgraph LeftSide [ ] direction TB Y_out["输出"] X_in["输入"] Equation["y = ax + b"] Params["参数"] %% 使用不可见线调整节点相对位置 Y_out ~~~ Equation X_in ~~~ Equation %% 定义箭头方向 Y_out -.-> Equation X_in -.-> Equation Equation -.-> Params end %% 定义右侧的分组 subgraph RightSide [ ] direction TB Loss["Min ||y-(ax+b)||2"] LossText["Loss 最小化"] end %% 左右连接箭头 LeftSide ==> RightSide %% 样式美化（可选） style Equation fill:none,stroke:none style Y_out fill:none,stroke:none style X_in fill:none,stroke:none style Params fill:none,stroke:none style Loss fill:none,stroke:none style LossText fill:none,stroke:none style LeftSide fill:none,stroke:none style RightSide fill:none,stroke:none ``` 建立「监督 / 自监督 / 强化」三分框架，并用人的学习方式来类比加深记忆。 监督=老师给答案、自监督=自己从数据里找规律（大模型预训练用的就是它）、强化=试错中学习。 三者的本质区别在「监督信号从哪来」——人工标注 / 数据本身 / 环境奖励。 **监督信号，就是模型学习时，用来评价输出、指导参数调整的信息。** 它帮助模型判断“目前做得怎样、该往哪个方向改”。 不同学习方式的信息来源不同： - **监督学习**：来自人工提供的标签或标准答案，例如用真实房价评价预测结果。 - **自监督学习**：从数据自身构造目标，例如遮住一句话中的词，让模型预测。 - **无监督学习**：没有显式标签，通过数据结构和设定的目标学习，例如让相似的数据聚在一起。严格来说，通常不把它称为有监督信号。 - **强化学习**：来自环境的奖励，例如根据游戏得分调整策略；奖励不必告诉模型每一步的标准答案。 它主要用于**训练阶段，包括微调**；普通推理只是使用已学好的参数，通常不需要监督信号。 理解神经网络分层提取特征的生物学依据。 Hubel & Wiesel 发现猫视觉皮层是层级结构：先提取边缘等简单特征，逐层组合成高级抽象。 这解释了「深层」为何有效——像大脑一样层层抽象（该研究获 1981 年诺贝尔生理学或医学奖）。 转场：有理论、有结构，还缺数据。没有数据，再聪明的算法也睁不开眼——ImageNet 登场。 Geoffrey Hinton：深度学习之父，反向传播与深度信念网络，打破了“深度网络难以训练”的魔咒, 点燃 2006 复兴 Yann LeCun：卷积网络之父，卷积神经网络 CNN，手写识别（LeNet） Yoshua Bengio：NLP 深度学习奠基人，神经概率语言模型 ![[CANN9.png]] 可以记成：**监督信号提供学习依据，损失函数把表现量化，优化算法据此调整参数。** 传统机器学习要人工设计特征，深度学习把这一步也交给模型自己学。 深度学习：机器学习的特例，用"深"的神经网络、模拟人脑分层处理；连"该看什么特征"都自己学。特点：①直接从数据学、黑盒、可解释弱；②数据规模巨大。 理解深度学习是机器学习的子领域，关键是「自动学特征」。 从「人工设计特征、可解释」到「自动学习特征、黑盒」；数据规模也从小数据到大数据。 深度 = 多层神经网络，逐层抽象特征。 深度学习「自己找特征」的灵感来自生物大脑——先看猫是怎么看世界的。 ![[CANN8.png]] 三要素在此刻首次"合体"：算法（AlexNet）+ 数据（ImageNet）+ 算力（GPU），呼应后面 三基石 李飞飞的洞察：算法不缺，缺数据。2009 年 ImageNet 千万级标注图片就绪；2012 年 AlexNet 用 GPU 训练深层网络，错误率骤降约十个百分点——GPU、大数据、深度网络三箭齐发，深度学习大爆发由此开场。图中为 AlexNet 原论文的网络架构图（两块 GTX 580 并行训练）。从这一刻起，故事进入快车道。 | 阶段 | 主要方法 | 推动因素与局限 | | ------------------ | ------------------- | ------------------------- | | 1950—1960 年代 | 符号表示、逻辑证明、搜索、感知机 | 可以处理受限问题；搜索空间扩大后出现组合爆炸 | | 1970 年代中后期 | 第一轮 AI 低潮 | 早期承诺与实际能力、算力、数据条件之间存在落差 | | 1970—1980 年代 | 专家系统 | 在专业领域积累规则；知识获取和长期维护成本高 | | 1980 年代末至 1990 年代初 | 第二轮 AI 低潮 | 商业预期、专用硬件市场和系统适应能力出现问题 | | 1990—2000 年代 | 统计机器学习 | 从样本学习规律，依赖合适的数据表示、目标函数与算法 | | 2010 年代 | 深度学习 | 大规模数据、GPU 与训练方法推动表示学习 | | 2017 年之后 | Transformer 与大规模预训练 | 高并行训练、迁移学习和生成式任务扩展 | 这些时间边界是概括，不代表相关研究在低潮中停止。专家系统的失败也不意味着规则没有价值：类型检查、权限策略、验证程序仍适合采用明确规则。 ## 2. AI、机器学习、深度学习与基础模型 ![AI、机器学习和深度学习的包含关系](.assets/CANN推理专题/history-25.png) 人工智能是较大的研究范围；机器学习通过数据和反馈改善模型；深度学习使用多层神经网络学习表示。基础模型强调广泛预训练和适配多种下游任务，大语言模型则以语言建模与生成为主要能力方向。 “大模型”没有所有领域通用的十亿参数硬门槛，也不要求必须采用 Transformer。模型大小、训练数据、结构和目标共同影响能力，不能只按参数总数排名。 传统机器学习也可以学习特征，深度学习也需要人为设计结构与训练目标；“前者全部靠手工特征、后者完全不需要人工”只是过度简化。 ## 3. 建模、训练、微调与推理 以 $y=ax+b$ 为例，建模确定函数形式，训练根据数据优化 a、b，推理把新的 x 代入已确定的函数。微调是在预训练参数基础上继续优化全部或部分参数，不保证每个参数的改变量都很小。 $\theta^*=\arg\min_\theta\frac1N\sum_{i=1}^N\mathcal L(f_\theta(x_i),y_i).$ 监督学习从目标标签学习；自监督学习从数据自身构造目标，例如预测后续 token；强化学习根据交互和奖励改善策略。它们不是机器学习的完整互斥分类，自监督预训练、监督微调、强化学习可以发生在同一模型的不同阶段。 神经元常写成 $h=\sigma(Wx+b)$。多层组合产生复杂的非线性函数。训练通常涉及前向、损失、反向传播和参数更新；推理通常固定模型参数，只执行前向及采样，但仍需管理 KV Cache 等运行状态。 用“学习与考试”作类比：训练像根据练习和反馈修改解题方法，推理像使用已学方法处理新问题。区别在于模型训练实际优化的是参数，不是把每份材料原封不动存成规则。训练侧关注收敛、数据质量和成本，服务侧还要关注时延、吞吐与结果质量。 数据、算法和算力共同约束效果。“数据决定上限”适合作为重视数据质量的提醒，却不是严格定律；模型结构、目标函数、优化方法和评测任务也会改变可达到的效果。深度学习以学习表示为重要特点，不意味着所有模型都不可解释或只能使用海量数据。 ## 4. ImageNet 与 Transformer 分别改变了什么 ![ImageNet、AlexNet 与深度学习](.assets/CANN推理专题/history-17.png) ImageNet 为视觉研究提供了大规模标注数据与共同评测任务；AlexNet 在 2012 年展示了深度网络结合 GPU 训练的效果。关键是数据、模型与计算条件共同成熟，而非某个单一因素独立创造了全部进步。 2017 年 Transformer 用注意力组织序列信息，使训练和 Prefill 中多个位置的计算更适合并行。因果语言模型仍要遵守遮罩：当前位置不能看未来 token；自回归 Decode 也仍有生成依赖，不能把“可并行训练”理解成“所有输出 token 同时生成”。 规模扩展可以改善许多任务，但“涌现”也受评测指标和任务设计影响，不存在通用的固定参数阈值。闭源模型参数量、训练资源与成本若没有公开证据，不应作为确定硬件预算的输入。 DeepSeek-V3 的公开架构示例体现了总参数与激活参数的差别：MoE 可以拥有很大的总容量，但每个 token 只使用其中部分专家。公开训练费用口径也不能直接等同整个研发成本。 ## 5. 大模型是怎样由算子组成的 ![从整体模型到原子算子](.assets/CANN推理专题/history-39.png) 模型可以表达为复合函数： $$ f=\operatorname{LMHead}\circ\operatorname{Block}_L\circ\cdots\circ\operatorname{Block}_1\circ\operatorname{Embedding}. $$ Block 内部又由矩阵乘、归一化、激活、加法和注意力组成。因此，“算子就是输入输出明确的函数”是很好的起点；工程上再附加 shape、dtype、layout、别名、设备和执行语义。一个逻辑算子可能由多个 Kernel 实现，也可能与其他算子融合成一个 Kernel。 Attention 的数学关系是： $$ Q=XW_Q,\ K=XW_K,\ V=XW_V, \quad O=\operatorname{softmax}\left(\frac{QK^T}{\sqrt{d_k}}+M\right)V. $$ M 是掩码或偏置。Softmax 应沿明确的 key 维计算，并采用减最大值的稳定形式。向量 `[4,1,3]` 对应概率约 `[0.705,0.035,0.260]`；这些数表示权重，不是对输入元素重新排序。 详细生成流程见 [大语言模型与推理系统](大语言模型与推理系统.md)，Softmax 与内存实现见 [Memory 矢量算子开发](Ascend%20C%20Memory矢量算子开发.md)。 ## 6. 为什么需要 NPU 和系统优化 矩阵运算通常贡献大量 FLOPs，但 FLOPs 占比不等于耗时占比。小 batch Decode 可能主要等待权重与 KV 读取；小算子也可能被 Host 下发开销支配。 NPU 用专门的矩阵、矢量、搬运与存储设计提高适合任务的吞吐和能效。CPU 仍承担控制、调度、预后处理，也能通过 SIMD 等机制执行并行计算。“CPU 只能逐元素计算”“缓存完全失效”都不准确；应比较具体精度、规模、带宽、软件实现和端到端成本。 AI Agent 在模型之外加入工具、状态和执行反馈；具身智能还要连接传感器与行动。语言输出流畅、工具执行成功、科学结论正确，是不同层次的验收目标。 下一步：[CANN 软件栈与 Torch NPU 实践](CANN软件栈与Torch%20NPU实践.md)。