31｜推导附章：注意力反向传播与可训练检索

目标：能沿计算图手工求导，再用数值实验验证；把模型“怎样学习”与前面“怎样推理”闭合。实验：attention_gradients.py，提供解析反向和有限差分。

继续看相关机制：F17 · 梯度像坡度，学习率像迈步大小O09 · Activation Checkpointing：少存一点，反向时重算

1. 从单头注意力开始

设Q为m×d，K为n×d，V为n×dv，定义S=QKᵀ/√d，按行softmax得到P，输出O=PV。允许m不等于n，以覆盖缓存中新块查询面对完整历史的形状。设上游损失对输出梯度G为m×dv。

前向可以理解为两个步骤：用Q/K决定每行权重，再按权重混合V。反向同样分为权重路径和内容路径。这个推导来自矩阵微分与softmax导数，不需要把注意力拟人化。[N07]

2. 先对V和P求导

由dO=dP·V+P·dV及标量损失的迹形式，可得：

∂L/∂V = Pᵀ G                    [n,dv]
∂L/∂P = G Vᵀ                    [m,n]

第一式表示每个Value从读取它的查询位置累计梯度。第二式表示若改变某个注意力权重，输出沿对应V方向变化会如何影响损失。形状核对是推导的一部分，不应只凭公式记忆。

3. softmax的Jacobian不必显式建立

对一行p，Jacobian是diag(p)−ppᵀ。直接建立n×n矩阵会浪费；设该行上游梯度为g，可写：

ds = p ⊙ (g − Σj pj gj)

把所有行组合：D_S=P⊙(D_P−rowsum(P⊙D_P))。这一步使每行分数梯度和为零，与给整行分数加同一常数不改变softmax的性质一致。

若某位置被固定mask屏蔽，P为零，其对应分数梯度也应为零。全mask行则没有有效概率分布，本书显式拒绝。生产核若采用其他语义，需要在前向与反向保持一致。

4. 再传回Q与K

∂L/∂Q = D_S K / √d              [m,d]
∂L/∂K = D_Sᵀ Q / √d            [n,d]

注意K与V虽然都来自历史位置，梯度路径不同。Q/K影响选择权重，V影响被聚合内容。若只对V反向而不对Q/K反向，模型可能学到输出内容，却无法正确学习注意力匹配。

Q、K、V若都由同一个X通过不同投影产生，X梯度是三条路径贡献之和；每个投影权重梯度分别由输入转置乘对应输出梯度得到。残差支路还要把上游梯度直接加回。多头实现只是额外的形状重排和各头计算，最后合并处同样需要正确逆变换。

5. RoPE、RMSNorm与门控的反向直觉

RoPE对固定位置是正交线性变换，反向使用旋转矩阵转置，也就是相反角度旋转上游梯度。位置频率若固定，不需要对它优化；若某种架构学习相关参数，则计算图不同，不应一概而论。

RMSNorm设r=sqrt(mean(x²)+ε)，y=γ⊙x/r。令g=上游⊙γ，则输入梯度为g/r−x·mean(g⊙x)/r³。这是直接项减去归一化尺度反馈项。把归一化当常数，会丢掉第二项，梯度错误但前向看起来正常。

SwiGLU由乘法门控组成，两个分支都应接收另一分支值乘以上游的梯度。SiLU还需要自身导数。实现时先验证单算子，再组合整层，通常比只看最终训练loss更容易定位。

6. 有限差分与自动求导如何配合

本书以L=sum(O⊙G)构造标量目标，对Q/K/V每个元素分别加减ε，比较数值梯度与解析梯度。小矩阵上代价可接受；大模型则只抽样部分维度或做方向导数检查。

ε过大，截断误差明显；过小，浮点舍入放大。使用float64、适中数值和明确容差更容易发现逻辑错误。配套测试比较非方形mask下的三类梯度，并验证仅首行输出参与损失时未来K/V梯度为零。

自动求导不是不需要验证。错误mask、错误标签或错误维度会让自动求导忠实计算“错误目标”的梯度。有限差分也只能证明相对于当前前向实现的导数，不能证明前向语义正确。因此需要数学不变性、负对照与任务测试共同形成证据。

7. Dense Retriever怎样学习“相关”

双塔检索可对一条查询q、正例d+和多个负例dj计算对比损失：

L = −log exp(s(q,d+)/τ) / Σj exp(s(q,dj)/τ)

它推动正例相对候选更相似，而不是保证绝对距离有统一业务意义。batch内负例提高效率，但可能包含实际上也相关的文档，形成假负例；困难负例能训练细区分，也可能引入标签错误。[N70]

如果训练数据只区分主题相关与不相关，模型可能无法区分同主题的新旧版本、肯定与否定。对代码检索，需要与实际任务相符的正负样本和评价。增加向量维度不会自动补上目标缺陷。

重排模型可以学习更细的查询—文档交互，但其训练标签若偏爱长文或某种格式，也会带来偏差。检索训练与第19章的评测设计必须共同考虑。

8. 这个附章如何使用

先运行现有实验，再故意删掉softmax导数中的行内减项，观察有限差分失败；接着删mask，观察因果梯度测试失败。最后比较PyTorch训练中的自动求导与手工推导，理解两者并不竞争：一个用于高效实现，一个用于验证与理解。

本章达标是能解释某个梯度为什么这样流动，能用实验抓住错导数，并知道实验的逻辑边界。它不等于已经掌握完整分布式训练或GPU反向kernel实现。