模型内部

图解Transformer用结构说明编码器、解码器、注意力与前馈网络。先跟踪信息来源和流向，再理解矩阵细节。原始架构包含编码器—解码器，不能直接当作所有Decoder-only产品的完整图。

Embedding只是初始表示，后续层根据上下文改变它。残差保留信息通道，前馈网络做逐位置非线性变换。注意力不是模型唯一的计算，也不是数据库检索。

原创练习：比较英文bank在银行与河岸语境中的作用，再换成代码中的同名函数。上下文有助消歧，但代码绑定还需要语言规则和符号证据。模型可能根据常见模式猜对，也可能误判实际调用对象。

完成标准是能从输入到输出解释各模块职责，并明确哪些属于通用思想、哪些是某一代实现。直观图帮助入门，不能替代掩码、维度和目标对齐的检查。

分词流水线可能包含规范化、预分词、子词学习和特殊Token后处理。BPE逐步合并常见片段，其他算法采用不同目标。不能把分词概括为按空格切开，更不能假设所有模型都转小写。

ID映射到Embedding，ID本身没有语义排序。代码空格、换行、罕见标识符和字节编码可能影响长度。特殊Token还可能表达边界，随意删改会改变模型解释。

原创练习：用小词表对“low、lower、lowest”做字符对合并，观察高频子片段如何形成。再加入罕见字符串，说明为何会拆成更多部分。练习是玩具机制，不代表实际商业Tokenizer分法。

最后比较更大词表的收益与代价：某些序列更短，但词表相关参数更大，训练覆盖也不同。完成标准是能解释Token数量为什么必须实测，而非从字符数机械换算。

原始Transformer以注意力组织序列处理，包含缩放点积、多头、位置编码、前馈与残差等组件。核心计算是用Q与K产生权重，再组合V。因果生成还需阻止未来信息流入当前位置。

QKᵀ/√d_k控制匹配分数尺度，softmax按允许位置归一化。多头在不同投影空间计算，但不能永久把每个头命名为某一种人类功能。原论文任务与当前编码Agent是不同层面。

原创练习：为两个位置各设置二维Q、K、V，手算分数与输出；加入因果Mask后比较变化。关键是理解哪些信息被允许使用，不是只把公式背下来。

再解释为什么最大注意力权重不是完整因果解释：其他位置、其他头、残差和后续网络也参与输出。论文结果属于其机器翻译设置，不应无条件外推为所有现代模型的性能。

带注解Transformer把模型结构与实现并排展示，适合从概念进入张量操作。历史教程的依赖版本不应当作当前环境的直接保证；本书关注算法与形状，不复制一套可能过期的安装步骤。

读代码应追踪批维、序列维、隐藏维和头维怎样变换，Mask如何广播，拼接后维度如何恢复。许多错误来自转置或掩码方向，而不是不认识Attention这个词。

原创练习：写出B×T×D如何拆成多头，解释padding掩码与因果掩码的差别。前者屏蔽填充，后者防止访问未来，它们不能互相替代。

随后检查训练目标是否右移，损失覆盖哪些位置。完成标准是能在最小实现中指出信息泄漏或维度错误，而不是仅运行作者代码得到一个数值。

Word2Vec教程解释通过上下文预测学习连续词向量。静态词向量通常给一个词条固定表示，而Transformer会产生依赖语境的表示。这是理解语义编码发展的重要区别。

向量相似反映训练目标与语料统计，不等于现实事实一致。某些类比现象不能推广成所有概念都服从精确向量加减；多义词可能在静态表示中混合。

原创练习：考虑“苹果公司”和“苹果水果”。一个固定向量如何同时承载两种用法？加入上下文后可能如何区分？再把问题迁移到代码中同名但作用域不同的符号。

完成标准是理解Embedding是表示工具而非真值存储。检索中向量接近可以帮助召回，但仍需版本、否定条件和来源核查，不能用相似度直接判断答案正确。

注意力有不同打分方式与可见范围。Self-Attention通常在同一序列表示之间计算，Cross-Attention连接不同表示来源；加性与点积注意力也不是同一公式。

局部或稀疏范围可以改变计算需求与信息通路，但限制访问也可能失去重要关系。现代系统可能组合不同结构，不能把一张经典示意图当唯一实现。

原创练习：在翻译中标出源句与目标句之间的跨序列关系，在代码续写中标出因果自注意力。再讨论长文档中局部窗口可能遗漏的远处定义。

完成标准是先问Q、K、V各来自哪里、允许看哪些位置，再讨论效果。不要把所有名为Attention的模块理解成相同能力，也不要用一个头的热力图解释模型全部决策。

RoPE通过旋转编码位置信息，使Q、K之间的点积包含相对位置关系。它不同于直接在输入向量上加位置Embedding，具体应用需看模型实现。

二维旋转保持长度，但位置之间的角度差影响相对关系。高维可以由多个二维子空间组成，不同频率表达不同尺度。这个数学机制不等于完美的距离推理。

原创练习：把向量旋转0度和90度后计算点积，再比较两个位置共同旋转与相对旋转。理解相对变化怎样进入匹配分数。

最后问：训练未覆盖的超长距离是否仍可靠？不能保证。位置外推涉及训练分布、频率处理与任务，采用RoPE不是无限上下文能力的充分条件，也不能替代长任务评测。

GQA让查询头分组共享KV，位于每头独立KV与所有查询共享单组KV之间。论文还研究从多头模型转换训练的路径。它是模型内部结构，不是Agent任务分组。

KV头减少能降低缓存规模，但查询头与KV头不同，估算时不可混用。实际速度还受前馈网络、内核、带宽和调度影响，缓存比例不等于整体提速比例。

原创练习：固定32个查询头，分别用32、8、1个KV头，计算标准缓存公式的相对大小。再列出公式未包含的分配与模型特殊结构。

完成标准是能解释为什么长上下文服务需要关注KV，而不只看权重大小。对不同模型比较时，应查真实架构，不能把“GQA”当成质量相同且一定更快的标签。

Switch Transformers采用稀疏专家路由，让每个Token只经过部分专家。总参数和激活参数不同，因此不能仅凭总参数比较单次计算量。

专家一般是网络内部模块，不是具有独立聊天历史的Agent。路由还要处理负载、容量、通信和训练稳定性。稀疏计算可能省运算，也可能增加系统复杂性。

原创练习：假设八个专家、每Token选一个，分别分析总权重存储、单Token运算和跨设备传输。不能由“选一个”推出显存只要八分之一，因为其他权重仍需可访问。

完成标准是把模型内路由与外部多Agent编排分开，并说明硬件与实现为何影响真实收益。不要把MoE理解为多个模型投票，也不应只看总参数制造能力比较。

Few-Shot研究展示通过任务说明与少量示例利用模型能力，不必为每个任务在推理时更新参数。In-Context Learning改变条件输入，不等于永久训练。

示例能提供输出格式和映射，也会引入偏差。相关性、顺序与质量需要检查；矛盾示例可能让模型选择错误模式。提供更多例子未必单调提高成功率。

原创练习：给字段分类两个一致示例和一个冲突示例，再设计未见测试。检查模型是否理解规则，还是只模仿表面词。不要只测与示例几乎相同的输入。

完成标准是区分“临时利用示例”和“参数已学会”。对于最新私有业务事实，仍需要检索或明确输入，不能依赖少样本提示替代所有知识与验证。

Llama3报告把架构、数据、训练、后训练与评测放在完整系统中。阅读重点是多个选择如何共同影响能力，而不是只记当时参数量或排行榜。

最终表现不能仅归因于注意力结构。数据混合、过滤、优化稳定性、指令训练和服务配置都可能影响结果；模型家族不同变体的设置也要分开。

原创练习：建立“目标—设计—代价”表，分别讨论长上下文、数据质量、工具行为和推理资源。原文没有公开的字段标未知，不用行业惯例补成该模型事实。

完成标准是能解释系统级技术报告与单组件论文的区别。报告展示作者方案，不证明相同组件在所有模型都带来相同收益，更不说明当前某个编码产品必然采用它。

DeepSeek-V3报告讨论MoE、MLA和训练系统等设计。MLA与常规KV组织存在差异，提醒标准缓存公式不是所有架构通用。多Token预测训练目标也不等于部署时无需验证地一次输出多Token。

稀疏专家使总参数与激活计算分离，但通信与负载仍影响效率。训练成本、推理成本和模型效果必须分别看，不能混用报告口径作简单比较。

原创练习：把设计收益分为模型结构、训练工程与服务优化三类，说明每类需要什么证据。再解释为何知道某公开模型架构，不能推断闭源Agent使用的模型内部结构。

完成标准是保留报告的适用条件，不编造未公开数据、成本或百分比。读懂机制比记住“更便宜、更快”的口号更重要。

Qwen3报告讨论推理与非推理模式以及模型家族。模式选择改变任务中的推理行为，但不是一个同时保证最高质量和最低成本的开关。

应分清训练形成的能力、推理配置和应用工作流。提高推理预算可能帮助复杂任务，却不能直接读取未提供的私有文件，也不能修复工具权限错误。

原创练习：比较格式转换、跨模块Bug分析和未知资料查询，提出不同预算与工具策略，再用独立任务评价。不要从总体结果推断每类中文、代码和工具任务等幅改善。

完成标准是把模式作为可测配置，而不是能力承诺。报告属于特定模型版本与测试条件，不应当作当前所有产品的默认行为说明。

LLM综述提供知识地图，汇集架构、训练、适应与评价等研究。不同被引用工作使用的模型、数据和时间不同，综述不能让这些结论自动具有统一适用范围。

阅读时记录每项技术属于哪一层、解决什么问题、依赖什么假设。RAG改变证据来源，RLHF改变训练行为，KV Cache改变计算复用，三者不是同类Prompt技巧。

原创练习：把本书技术放到架构、训练、推理、应用四个区域，允许跨区但说明原因。对于关键结论回到原始研究，不把综述中的概括扩展成未说明的数字。

完成标准是能发现知识连接与缺口，而非继续积累术语。遇到工作问题时，应借地图选干预层，并用真实证据验证，而不是因为某名称流行就引入系统。