02｜一次Transformer前向：逐张量、逐算子讲明白

术语带虚线时可点击速查。公式中的字母先看定义；不要用猜缩写替代推导。

本章以教学用的decoder-only、pre-norm结构为主。2017年原论文是encoder-decoder架构；RMSNorm、RoPE与SwiGLU是后来常见的选择，不能把这些组合说成原论文或所有商业模型的统一实现。全章的形状和数值用于说明算法，不是实际服务配置。

继续看相关机制：F07 · 矩阵乘法像逐格填写配方结果F14 · 一层Transformer不是只有AttentionF15 · 一次输入如何连着预测，直到结束

Q005｜一串Token进入Transformer后，究竟依次经过哪些计算？

核心回答

对每一层，先把当前隐藏状态归一化，再投影出Q/K/V；加入位置机制和可见性约束，计算注意力并混合Value；经输出投影后加回残差；再经过归一化与前馈网络，加第二次残差。重复各层后做最终归一化与词表投影，最后位置的logits用于预测下一Token。[TR][ROPE][GQA]

把每个张量的身份固定下来

设B=1,T=4,d=8,H=2,Dh=4，暂用MHA。X的形状是[1,4,8]，4个位置各有8个数。注意：一个位置是一个Token，不一定是一个单词。

第5行的两个“4”意义不同：一个是查询长度，一个是键长度；缓存解码时它们会变成1与历史总长度，不能因为训练时恰好相等就写死。第6行softmax必须在键位置轴上，这决定当前Token从哪些位置读信息。沿头轴softmax虽然可能形状合法，算法却已经被换掉。

一层结束后，输出是下一层的输入。下一层重新用自己的Wq/Wk/Wv投影，不会复用上一层的K/V。层数增加的意义不是把同一搜索重复若干次，而是在已经融合上下文的表示上进一步变换。最终词表投影一般不是每个头各自采样一个词，而是先融合整层表示，再对整个词表评分。

追问：为什么prefill通常需要计算所有输入位置，而不是只算最后一个？

最后位置在第2层要读取前面位置的第2层K/V；这些K/V来自前面位置经过第1层后的隐藏状态。因此不能从原始Embedding直接跨过所有历史位置的中间层。因果mask使历史位置相互依赖有方向，但不消除它们作为后续层输入的必要性。实现可省略不需要的中间logits输出，不能普遍省掉建立历史表示的工作。

追问：Attention输出已经混合信息，为什么还要Wo？

每个头在自己的子空间给出结果，拼接只把它们并排放置，Wo使模型能学习如何跨头线性组合并映射回残差宽度。没有Wo并非数学上不可能构造模型，但表达结构改变，需要重新训练评价，不能在现有模型中随意删除。

追问：怎么判断自己真的理解了这条链？

给出B,T,H,Dh后能写出所有形状，能指出softmax的轴、转置的轴、残差加法发生处，以及最后哪个位置预测下一个Token。仅能背“Embedding—Attention—MLP”还不足以调试真实实现。

Q006｜Q、K、V为什么要分成三份？Attention到底算出什么？

核心回答

Q与K共同决定“某位置如何从可见位置取信息”，V决定“取到的内容是什么”。它们来自可学习投影，语义不是人为固定的“问题、关键词、答案”。Attention输出是Value的加权混合，不是直接生成词，也不是数据库精确查询。[TR]

用一个可以手算的例子走一遍

令三个位置的输入为x1=[1,0]、x2=[0,1]、x3=[1,1]，只看一头并暂不做归一化和位置旋转。设Wq=Wk=I，Wv=[[1,2],[3,4]]，则：

q3=[1,1]
k1=[1,0]  k2=[0,1]  k3=[1,1]
v1=[1,2]  v2=[3,4]  v3=[4,6]

第三位置能够看到三个位置。三个点积是1、1、2，除以√2后为0.7071、0.7071、1.4142。softmax得到约0.248255、0.248255、0.503490。于是第三位置输出是：

o3 = 0.248255×[1,2] + 0.248255×[3,4] + 0.503490×[4,6]
   ≈ [3.006980, 4.510470]

权重在三个位置上求和为1，但输出不是某个原始Value，而是混合结果。这解释了为什么不能简单把最大权重对应的Token称为“唯一原因”。残差、其他头、后续前馈和层间变化也都影响最终输出。

若把Wv改掉而不动Q/K，读取比例可以不变，被读取的内容却变了；若只改变Q，当前查询会以不同方式分配读取比例。Q/K/V分开允许匹配空间和内容空间具有不同用途。把三者强行共享会降低参数并改变归纳偏置，不等于与标准结构完全等价。

第一位置只看自己，权重应为[1,0,0]；第二位置只看前两个。这个例子也展示因果mask与内容相关性是两道不同机制：相关性高但在未来的Token仍必须被屏蔽。

追问：Self-Attention中的“self”是只看自己吗？

不是。它表示Q与K/V来自同一序列或同一表示来源；序列中不同位置仍可互相读取，范围由mask决定。Cross-Attention中Q通常来自一个序列，K/V来自另一个，例如解码器读取编码器输出。decoder-only聊天模型不需要每层都有Cross-Attention。

追问：Value为何不直接用原始X？

直接用X是可设计的变体，但可学习的V投影让模型选择适合被聚合的内容表示，也能改变每头宽度。现有权重依赖训练时的结构，不能把V投影删除而期待同样结果。类似地，K不是固定索引表：每个位置的K依赖该层的上下文表示。

追问：Attention是否就是“语义相似度”？

它是模型学出来的匹配函数，可能表达位置复制、语法依赖、模式匹配等，不一定符合人类语义相似度。点积还受向量尺度影响；它通常也不是对外部文档Embedding做余弦检索。把两者都叫检索有类比价值，但不能混用算法和评价指标。

Q007｜为什么除以√d？为什么softmax？数值稳定为什么必须减最大值？

核心回答

在一个常用初始化近似下，d维点积的方差随d增长；除以√d使尺度不随维度线性膨胀，降低softmax过早饱和的风险。softmax把分数转换成非负、和为1的权重。减最大值保持数学分布不变，却显著降低指数溢出风险。[TR]

从方差推导缩放，不要只背结论

设qi,ki独立、均值0、方差1，且各维独立，则E[qi ki]=0，Var(qi ki)=1。点积S=Σi qi ki有Var(S)=d，标准差为√d。所以S/√d的方差为1。真实训练后的向量不严格满足这些条件，但这解释了缩放的设计动机；它不是对每个样本方差的精确估计。

若分数变成[100,0,-100]，softmax几乎全部质量集中在第一项。softmax导数包含pi(1-pi)和-pi pj，当p极端时很多梯度变得很小。模型在训练初期就过度尖锐，会使学习困难。缩放是稳定训练的一部分，不替代归一化、初始化、学习率等其他因素。

对任意常数c，有exp(zi-c)/Σj exp(zj-c)=exp(zi)/Σj exp(zj)。取c=max(z)后所有指数不超过1，避免exp(1000)溢出。这里不是“为了让概率更平滑”，因为分布在精确数学下完全不变。它是同一公式的数值稳定实现。

追问：全mask行为什么容易出现NaN？

若所有分数都是-∞，最大值也是-∞，相减出现-∞-(-∞)，没有有效归一化分布。正确实现要事先避免这样的查询，或约定输出零、跳过padding位置等行为。不能指望“使用稳定softmax”自动解决未定义输入。核的具体约定要与上层mask逻辑一致。

追问：为什么不直接用argmax取一个Value？

硬选择会改变模型表达和梯度性质；softmax提供可微的软混合，让多个位置共同贡献并能通过损失更新匹配参数。训练后出现尖锐或分散权重都可能有用途。某些稀疏或路由模型确实使用不同选择机制，但需要单独设计，不能直接替换已训练网络的注意力。

追问：Attention的softmax与生成时softmax是同一个东西吗？

是相同类型的数学归一化，作用轴与含义不同。Attention在“可见键位置”上归一化，得到信息读取权重；输出softmax在“词表Token”上归一化，得到下一Token概率。前者不直接决定输出哪个词，后者才参与解码采样。

Q008｜为什么一层除了Attention还需要残差、Norm和FFN？

核心回答

Attention负责位置间的信息交互，FFN负责逐位置非线性变换，残差提供直接的信息与梯度通路，Norm控制特征尺度。它们解决的问题不同，不能把FFN称为可有可无的装饰，也不能把残差说成保证训练永不失败的机制。[TR][V3]

把pre-norm的一层写成两条等式

U = X + Attention(Norm1(X))
Y = U + FFN(Norm2(U))

在这个结构里，残差主路中的X没有被直接替换为注意力输出，模型学习的是在现有表示上增加什么。反向传播时，∂U/∂X包含恒等项I，梯度可以沿较直接路径传回；这缓解深层优化困难，但整体梯度仍受到各分支Jacobian、训练配置和数值状态影响。

LayerNorm对每个位置的特征减均值，再除标准差并应用可学习缩放/平移。RMSNorm通常不减均值，而用均方根缩放并应用可学习权重。它们不是跨整个batch统计；所以这里的Norm不同于图像网络中常见的BatchNorm。pre-norm先归一化再进入子层，post-norm则在残差相加后归一化，优化行为不同。

普通两层FFN可以写为σ(XW1+b1)W2+b2：先升维，再非线性，再降回d。SwiGLU形式可写为(SiLU(XWg) ⊙ XWu)Wd，乘法门控控制哪些特征通过。它对每个位置使用同一组权重，但不直接读取其他位置；其他位置的信息先通过Attention进入该位置表示，再由FFN加工。

参数量也能看出FFN不是小附件。忽略bias，MHA四个d×d投影约4d²参数；若普通FFN中间维度为4d，两次投影约8d²。SwiGLU若中间维度m，则三矩阵约3dm。具体现代模型可能用不同m、GQA或MoE，但“Attention一定占最多参数/算力”不能当通则。

追问：FFN是否就是存事实的数据库？

有研究将部分前馈行为解释为键值关联，但不能把所有知识精确定位为一条条数据库记录。事实复现依赖Embedding、注意力、前馈、层间路径和上下文共同作用。把某个神经元当作唯一事实开关，是对分布式表示的过度简化。

追问：Norm是不是越多越稳定？

不是随意增加就好。新增归一化改变信息尺度、残差结构和训练分布，可能破坏已有权重行为。对已训练模型，首先使用原架构；研究变体时需要训练与评测。工程调参也应先定位NaN出现在何处，而不是见到NaN就在所有位置添加Norm。

追问：一层坏了通常表现成什么？

softmax轴错可能没有异常但输出失真；残差误用覆盖会改变网络；FFN维度转置可能直接报shape错误；低精度溢出可能传播NaN。排障从单算子形状、有限值、固定输入对照开始，再比较整层与整模型。训练loss下降只能说明某个目标在被优化，不能证明实现符合预期架构。