从文本到向量 生成过程特点 逐步生成，而是在已有上下文后面不断选择下一个 token 连续预测 string->token+位置编码->Embeding 最终变成输入模型的 input 文本需要转化为可计算表示 输入文本 Token TokenID Embedding 矩阵计算 TOKEN 自然语言的基础处理单元，模型处理的是 token 序列；不同的 tokenizer 的切分结果可能不同 vocal 的作用 词表=token 与编号的映射字典 输入映射为编号序列 编号本身没有意义，只是索引 上下文窗口 context windwos 撒行下文窗口表示模型在本轮预测下一个 token 时可参考的 token 范围， 窗口更长，能读更多历史和更成文档，模型记忆力更好 代价更高->计算和内存 自回归生成：反复预测下一个 token 输入上下文 预测概率 /模型不是只输出一个固定答案，而是先给出多个 duogehouxuantoken 的概率分布，然后选出概率最大的一个 这就是自回归一，每一个输出都会立马变成新的输入 采样策略与回答风格 更保守、适度随机、过度随机 temperature top-p 他会在控制稳定和多样的平衡，不同的任务适合不同的参数设置，比如代码生成低温度，创意适合高温度 保守 温度可能很小，0 适度 比如说 0.5, 过度随机 1 prompt 生成循环机制 已有上下文 预测概率 选择 token 追加上下文 prompt 的约束作用 含糊输入与清晰输入 RAG 、SKILL 属于 prompt ENGINEERING prompt 提示词 提示词工程最后会写成一个 skill skill 是一个把人的经验落成文本 使用大模型的经验 为什么会有这个演进 **阶段一：Prompt（单次对话）** 最早大家就是聊天，每次手打一句话。问题是：同一类任务，每次都要重新描述一遍，效果还不稳定。 **阶段二：Prompt Engineering（单次对话的优化）** 开始研究"怎么说效果更好"——加角色设定、给例子（few-shot）、要求分步思考（CoT）、规定输出格式。这是**技巧层面**的积累。 但这时候还是"每次都写一遍"，只是写得更讲究。 **阶段三：Skill（经验的固化）** 既然某些 prompt 结构反复有效，那就把它存下来，变成一个**有名字、有触发条件、有固定结构**的东西。这就是 Skill。 它把"人的经验"落成文本，包含： - 什么时候该用它（触发场景） - 用的时候要遵循什么步骤 - 有什么坑要避开 - 输出应该长什么样 RAG 可以更多的来源和类型 通过WEBSEARCH 通过MCP 服务器去访问 RAG 解决了传统模型不能解决最新知识的问题 Markdown 文档->向量。 创建数据库 计算相似度计算 计算 insert 服务器会吧文档转给大模型 下一次会把 markdown 文档会把输入一起给出输出模型 怎样把数据库里的文本转成向量，然后把输入的问题作相似度计算 ---- 都是模型提供足够清楚的上下文 大模型的能力边界 模型增长 理解成上下文连贯、流畅的文本 理解指令并按格式输出 模型局限 无法训练数据之外的信息 基础输出 模型直接生成物质增强 用更清晰的提示词， MCP 提升模型输出质量 让模型使用工具 模型验证 让模型自我检查 、改进答案 模型能力的三类规模化来源 从大量文本、代码和多模态数据中学习模式 数据质量决定模型上线，数据决定模型能否到达上界 数据规模 参数规模 更多学习权重，承载更复杂的语言关系 参数量决定模型的表达能力，影响推理时的计算量 计算规模 更大训练算力，使模型充分学习数据规律 训练计算量影响模型嫩功夫百分百利用 语言模型的发展脉络 统计/N-Gram 神经网络/RNN Transfomer 大语言模型 统计语言模型（Statistical LM） ├── N-gram ├── 平滑技术（Kneser-Ney 等） └── 隐马尔可夫模型（HMM）等 神经网络语言模型（Neural LM） ├── 前馈神经网络语言模型（FFNNLM, Bengio 2003） ├── Word 2 Vec（CBOW / Skip-gram） ├── RNN / LSTM / GRU ├── Seq 2 Seq + Attention └── Transformer → BERT / GPT / BART - **Word 2 Vec / CBOW / Skip-gram**：本质上是单隐藏层的前馈神经网络（输入词→隐藏层→输出词），只是被包装成了“词嵌入”方法。 - **Seq 2 Seq**：编码器和解码器里都有 FFN。 - **Transformer / BERT / BART**：每个 Transformer Block 里都有一个 **Position-wise Feed-Forward Network**，就是两层全连接层+激活函数。 人工设计特征越来越少，模型从数据中学习表示的能力了越来越弱 训练 用途：让模型获得能力 计算:前向、反向、参数更新 关注：收敛效果、训练吞吐 语言模型：给定上下文，计算给出下一个词或句子的模型 分词层 输入层 注意力层 前馈层 模型层 推理 Inference 用途： String ->token[]->Embedding[]+postitional embedding []->input 文本推理路径从 prompt 到 answer prompt 用户输入 tokenize 切分 token prefill 推理上下文 decode 逐步生成 Answer 拼接回答 prefill 阶段 一次处理完整 prompt 中的所有 token 决定首 token 延迟（TTFT） 输入越长 一次性计算月中 同时计算并缓存 KV Prefill 一次处理完整 prompt 输入 prompt prefill KV cache 同时计算所有都 token，公后续所用 Decode 阶段 每一步生产一个新的 token 循环执行多步 决定持续输出速度 TPOT TPS Context 循环执行多步每步生成一个新 token Next Token KV cache DeCODE 每步只处理一个新的 token 但 attention 需要全部 token KVcache 一致在搬来搬去，访存密集型 方寸压力大 影响 TPOT TPS 访问次数多 (把 QKV 搬到内存计算的时间) 延迟和缓存 核心思想 KV Cache：缓存复用与显存权衡 核心思想 Decode 阶段反复使用历史的 Key 和 Value 如果每次重新计算，浪费巨大 解决方案：Prefill 阶段缓存所有历史 KV，Decode 直接读取服用 代价 上下文越长，cache 越大 显存占用越恶搞 可能成为上下文部署的瓶颈 首 token 延迟 TTFT TPOT 生成间隔 吞吐率 TPS 推理系统复杂度与优化方向 模型能力提升带来的压力 参数变大 权重占用和计算压力增加 上下文便成 机构便复杂 四大优化方向： 融合算子 如果模型的算法已经固定了，输入已经明确了，那么编译器就会帮你算子融合、内存优化 KV Cache 优化 当我们对精度没有这么高的时候，是否可以不用这么大的内存去存储这个数？FP 16->FP 4 图模式 量化 降低权重和带宽压力 多模态：不同信号也可以变成模型输入 核心思路：b 不同信号先通过自编码器转成 token 或向量（在同一个编码空间中）在交给大模型统一处理 具身智能 感知、理解、规划、行动、反馈 摄像头传感器、识别环境和任务、拆解任务步骤、机器人软件执行 智能助手、多模态生产 行业智能化 端侧与机器人 总结 语言 文本 token 向量 模型 attetion MLP Residual 生成 prefill 后循环 decode 自回归生成、KV Cache、采样控制网络 系统 日志和 profile 观察性能 自然语言不能直接按预计算，需要经过 tokenize 即 embedding 查表转换为向量表征 大模型的基本任务是根据当前上下文预测下一个 token 的概率 大模型通常由多个 transforemer block 堆叠而成，每个 block 主要包含 大模型新推理主要分为 prefiill 和 decode 阶段 每个阶段会呈现不同的算力 带宽需求特性 KV Cache 本质是显存（空间）换计算速度 prefill 计算密集型 decode 内存密集型 工程实践