概念与符号

公式与术语：先认识对象，再理解运算

阅读工具约 15.2 千字

本章目录

阅读数学式之前，先分清五类对象

公式不是缩写词竞赛。一个符号可能是本次输入、模型参数、计算出的中间值、尺寸或下标、执行规则或函数。先给对象分类，再读它们的关系。下面的例子只解释记号，是独立的符号微例，不替换任何课程的主算例。

类别	一般由谁提供	是否随本次输入改变	典型对象
输入与标签	用户数据、分词器或训练样本	会	输入编号、X、正确下一Token
模型参数	初始化程序、训练、已保存的权重文件	普通推理中通常不更新	Embedding表、Wq/Wk/Wv、偏置、归一化参数
中间计算结果	当前一轮前向运算	通常会	Q/K/V、分数S、份额A、隐藏状态、logits
结构与尺寸	模型设计及当前请求长度	有些固定，有些随请求改变	层数、头数、每头宽度、当前有效长度
操作与状态约束	程序、协议及任务规则	依具体条件构造	Norm函数、softmax、mask、执行状态

“权重”有两种常见含义。 参数矩阵W中的权重是模型保存的系数；注意力表A中的权重是当前输入算出的信息份额。它们都参与乘法，但来源和生命周期不同。“参数”一词也有两层：模型参数是学习出来的数；工具调用参数则是一次请求的字段，不能混同。

先用一句中文读完XW，再看矩阵尺寸

Y=XW读作：“把X的每一行，按W每一列提供的系数组合，产生Y的各列。”例如X有两行、每行三个数，W有三行、每行两个数：

X[2,3] @ W[3,2] → Y[2,2]
Y[i,j] = X[i,0]W[0,j] + X[i,1]W[1,j] + X[i,2]W[2,j]

这里i选X的哪一行，j选输出哪一列。不是把i和j传给另外一个模型。若X表示两个Token的位置，一个输出格子的来源仍可追溯到同一输入位置的三个特征。如果要跨Token混合，还需要另外沿位置轴进行的运算，例如注意力份额表乘Value表。

Wq、W_Q和某些资料的W^Q都可能用来命名查询投影参数。它们是记号写法，不是三种独立算法。反过来，长得相同的字母在另一章节可能承担不同角色，因此本书不以字母外观代替局部定义。

大小写、下标、上标怎样读

写法	逐字解释	小例子
`X`与`x_i`	大写表包含多行，小写取一行	X=[两行]；x₁是第1号位置那一排数
`x_{i,j}`	先选第i行，再选第j个特征	`X=[[1,2],[3,4]]`时x₁,₀=3
`W_Q`	Q是这张W的用途标签	用来生成Query，不是W乘Q
`W_Q^(ℓ)`	ℓ标第几层的参数	第0层和第1层通常各自有W_Q
`Kᵀ`	把K指定的行列轴交换	不是K的T次方
`∈ℝ^{m×n}`	是一张m行n列的实数表	可以包含小数和负数
`Σ_j`	对j列出的全部项相加	不代表把其他未列的轴也求和
`⊙`	对应格子逐元素相乘	`[1,2]⊙[3,4]=[3,8]`
`@`或矩阵并排	矩阵乘法，乘后沿内侧维度相加	`[1,2]@[3,4]ᵀ=11`
`∂L/∂W`、`∇L`	损失相对参数的变化率	算出梯度，不等于已经更新参数
`←`	将右侧结果存回左侧	w←w−ηg是一次更新

从0开始的下标是一种编程约定。若另一个算例明确从1开始，就按它的声明读；不要把“第1号位置”和“第一项”未经说明地视为同一个对象。

不能把重复出现的字母永久固定成一个意思

符号	常见的不同用法	怎样消除歧义
T	序列长度；另有转置上标ᵀ	看它是尺寸还是操作；温度优先写τ
V	Value表；一些论文用V表示词表大小	看形状；本书词表规模尽量写Vocab或n_vocab
H、h	头数；隐藏向量；图像高度	每个公式先注明对象，不能只凭字母判断
L	层数；损失；排队系统平均任务数	看是不是一个计数、目标函数或运行统计量
W	模型权重矩阵；Little定律中的平均停留时间	两种场景单位和对象类型都不同
β	LayerNorm偏移；Adam平滑系数；DPO设置系数	各章必须重新按当前公式解释
ε	规范化稳定常数；有限差分步幅	都是小正数，但用途、取值和影响不同
A	注意力份额表；LoRA的一个因子；比较方案A	不能跨公式自动沿用形状或语义
π	圆周率；概率策略符号π_θ	旋转角与策略概率分属不同计算
q、k	注意力的一行；检索问题；Top-k保留数量	字母相同不等于数据相同

如果一个章节从“两个Token的向量”转向“十篇文档的检索排名”，应当明确建立新输入。数学上两组数字都可以求和，不代表它们来自同一个运行过程。

函数名不是另一个神秘数据表

Norm(X)表示调用规范化运算；FFN(X)表示调用前馈网络；softmax(S)表示按指定轴把分数转为份额。函数可能内部使用可学习参数，但函数名本身不是一排权重。

以U=X+Attention(Norm(X))为例，应按顺序读：先对X规范化，Attention处理该结果，把注意力输出与原X相加，最后把整份结果叫U。U只是给临时结果起名。另一段公式也用U，不代表数值自动共享。连续算例若沿用U，会明确指向上一行。

高级接口还可能把投影前的数据命名为query/key/value；底层接口的同名参数则可能是投影后的数据。查看“接口内部是否已经做了W变换”比只看参数名重要。公式与程序还可能分别采用右乘参数表和存转置后的权重布局；应先对齐布局，再对比数值。

程序里的数据、请求与状态也需要身份

对象	例如	来自哪里	能证明什么
任务文字	“检查a.py”	用户	表达目标，不是文件内容
Schema	path必须是字符串	工具或API定义	结构约束，不证明文件存在
调用参数	`{"path":"a.py"}`	模型提出、宿主校验	要调用的对象，不是执行结果
调用标识	`call_id="c7"`	协议参与者	用来配对，不自动等于业务幂等键
工具返回	文件内容、退出码	实际执行器	本次运行证据，需注明版本与范围
任务状态	pending、running、unknown、succeeded	宿主状态管理	目前确认到了哪一步
派生摘要	“已修改，待测试”	摘要过程	便于恢复，但不能替代原始证据

“模型记住了”也至少分三层：推理缓存里的一组K/V、当前会话中的事实与摘要、跨会话检索出的长期记忆。应该问它保存的是哪种对象、什么时候写入、什么时候失效，而不是把三个层次都当成模型参数更新。

从基础到系统的依赖路径

模型计算路径： 数字容器与形状 → Token编号与Embedding → 行列乘法 → 参数与中间结果 → Query/Key/Value → 分数与读取份额 → 掩码与位置 → 多头、输出投影、残差与前馈 → 输出Token与缓存。

训练路径： 前向结果 → 正确标签与损失 → 导数和链式法则 → 各参数梯度 → 优化器状态与更新 → 后训练目标。不会导数时仍可以先读懂W怎样参与前向，不需要把“权重来自训练”误认为“必须先理解所有强化学习算法”。

Agent路径： 请求与结构化数据 → 模型输出项 → 工具调用标识 → 权限与执行 → 事件与状态 → 上下文再组装 → 压缩恢复 → 多Agent协作。

知识和质量路径： 原始证据 → 分块及索引 → 召回与重排 → 版本和权限 → 生成与引用 → 记忆生命周期 → 可检查的任务结果 → 统计比较与运行成本。

进入一个新机制时，能回答“输入是哪个对象、参数从哪里来、实际算什么、结果供哪一步用”，再进入公式。下方概念索引为本书容易混淆的术语提供就地可读的定义、独立微例和对应的完整课程。

概念索引：对象、来源、用途与独立微例

以下微例只解释术语，不接续其他章节的输入。点击课程入口可阅读完整计算链。

线性投影与权重矩阵 Wq / W_Q：查询投影参数 Wk / W_K：键投影参数 Wv / W_V：值投影参数 Query、Key、Value：三种中间数值表示 Wo / W_O：注意力输出投影 Wout、LM head：词表打分参数 I：单位矩阵 b / bias：加法偏置 Σ：按下标逐项求和 ᵀ、transpose：交换矩阵行列 ⊙：逐元素乘，不是矩阵乘 ReLU：逐格保留正数 sigmoid：把单个数映射到0与1之间 SiLU：输入乘一份门控系数 GELU：按输入大小平滑调节 SwiGLU、Wg/Wu/Wd：两路变换再合成 FFN / MLP：逐位置前馈网络 Norm、LayerNorm、RMSNorm：不是概率归一化 γ、β、ε：参数与稳定常数要分开 pre-norm / post-norm：归一化放在何处残差连接：相加保留主路径 √ / sqrt：平方根 d_k、d_v、Dh：每行表示的宽度 MHA、MQA、GQA：头怎样共享 RoPE、旋转位置编码 MoE、专家与路由器 ∂、∇：偏导与梯度 Jacobian：多输出的导数表 loss、交叉熵、负对数似然标签、teacher forcing与shift 优化器、Adam及AdamW π、π_ref与β：偏好目标的符号 SFT：监督微调 RLHF、奖励模型与策略 DPO：由偏好对构造训练目标 PPO、GRPO、advantage KL散度：有方向的分布差异 LoRA、低秩及r 量化、scale与zero point FP32、FP16、BF16：存储数值的格式混合精度、loss scaling与主权重 checkpoint：必须看保存的对象 KV Cache与Prompt Cache Prefill / Decode：两种计算阶段 FlashAttention：改变中间数据存取方式 PagedAttention：分页管理K/V存储 HBM、SRAM与带宽 FLOPs与FLOP/s：数量与速率 DP、TP、PP、ZeRO与FSDP temperature / τ：生成分布的温度 Top-k、Top-p与重新归一化推测解码：草稿与目标验证 Harness / 宿主程序 API、SDK与调用边界 Schema与Structured Outputs SSE、chunk、delta：不同的分片层 call_id、item_id、request_id MCP、Host、Client、Server JSON-RPC、stdio与HTTP OAuth、scope与授权上下文组装与预算 Compaction：有损上下文缩减 Thread、Turn、Session：运行层次状态、事件与reducer unknown / reconcile：缺少确认时先核验幂等与idempotency key CAS、版本检查与TOCTOU ACID、事务与隔离 WAL、fsync与原子替换 Outbox、Saga与补偿退避、jitter与取消 TF、DF、IDF：词项统计量 BM25及N、df、k₁、b RRF：按排名融合范数与余弦相似度 ANN与HNSW：近似检索结构 bi-encoder、cross-encoder与重排 ColBERT与MaxSim RAG与生成证据 HyDE：假设文本只用于找材料 GraphRAG、RAPTOR与组织层次 AST、LSP与调用关系 TTL、有效时间与记录时间 semantic、episodic、procedural记忆 Skill、JIT与触发描述 DAG、依赖与关键路径 Handoff与agent-as-tool oracle、断言与变异测试 Precision、Recall、MRR与nDCG pass@k与pass^k Bootstrap、配对比较与置信区间二项、标准误差与Wilson区间 Trace、Span、Log、Metric TTFT、TPOT、p95与吞吐 SLI、SLO与错误预算 Little定律：L=λW的局部记号 Prompt Injection、沙箱与权限 Patch、图像通道与视觉投影 CLIP与图文对比学习 SAE、激活与可解释特征校准、置信度与弃答 σ：看清函数符号与统计量 G、dQ、dW：反传里的中间梯度 Concat、split与chunk：拼接与拆分 Dropout：训练中的随机置零规则 logsumexp：先求指数和，再取对数 BatchNorm：跨样本统计不同于LayerNorm C(n,k)、!：组合数量与阶乘 O(·)：随规模增长的数量级 E、Π、∼、∝：概率式的常用记号 BOS / EOS：序列边界标记 JSON：结构化文本，不是执行动作 LF、CRLF与EventSource ToolRouter、ToolCall、ToolInvocation HEAD、工作树、ETag与内容指纹 IDE、CLI、UI与DOM DPR、DPI与坐标单位 MLA：学习得到的低维K/V表示 SQL、SQLite与事务对象

线性投影与权重矩阵

投影是把输入特征按系数重新组合的运算；W是保存这些系数的模型参数表。输入X是本次数据，XW是本次计算结果。参数表常在训练中更新，在普通推理中从权重文件加载后保持固定。

独立微例：x=[1,2]、W=[[3],[4]]，xW=[11]。W并不是11本身，也不是该词的ID。