运行示例：依据、参数与范围

DERIVE · 独立教学推导与场景设定

本书明确指定输入、权重、概率或业务状态，展示由这些前提推出的结果。不是论文实验数据，也不代表某个商业模型的实际运行。程序见本地“示例核验”。

EMBED · PyTorch Embedding：整数索引与参数表

索引形状保持，输出新增embedding_dim轴。查表不同于二进制展开。

原始依据（可选核对）
https://docs.pytorch.org/docs/2.14/generated/torch.nn.Embedding.html

LN · PyTorch LayerNorm：逐归一化维的均值与方差

数值例明确ε、缩放和偏置；方差采用总体方差口径。RMSNorm对照另按正文公式手算。

原始依据（可选核对）
https://docs.pytorch.org/docs/2.14/generated/torch.nn.LayerNorm.html

GLU · GLU Variants Improve Transformer

门控变体的原始研究；正文SiLU与乘法门控均使用明确的人为输入与投影。

原始依据（可选核对）
https://arxiv.org/abs/2002.05202

SDPA · PyTorch scaled_dot_product_attention

注意布尔掩码True表示允许参与；与MultiheadAttention接口不能混用。教材不默认非方阵is_causal一定适合带缓存解码。

原始依据（可选核对）
https://docs.pytorch.org/docs/2.14/generated/torch.nn.functional.scaled_dot_product_attention.html

MHA · PyTorch MultiheadAttention

attn_mask布尔True表示不允许访问。以该版本文档为范围。

原始依据（可选核对）
https://docs.pytorch.org/docs/2.14/generated/torch.nn.MultiheadAttention.html

CE · PyTorch CrossEntropyLoss

标签、ignore_index、权重及reduction共同决定损失与分母；本书例子明确是否加权。

原始依据（可选核对）
https://docs.pytorch.org/docs/2.14/generated/torch.nn.CrossEntropyLoss.html

ADAMW · PyTorch AdamW

一二阶矩、偏差校正与解耦权重衰减的具体算式。

原始依据（可选核对）
https://docs.pytorch.org/docs/2.14/generated/torch.optim.AdamW.html

CACHE · Transformers：缓存机制

逐层缓存、过去位置与新查询的关系。简化缓存公式不包括分配器和临时张量。

原始依据（可选核对）
https://huggingface.co/docs/transformers/cache_explanation

ZERO · ZeRO：分摊模型训练状态

三类状态与阶段划分来自原始研究；1000参数例为教学记账，不引用论文性能数字。

原始依据（可选核对）
https://arxiv.org/abs/1910.02054

TOOLS · OpenAI Function calling

模型提议、宿主执行、调用标识与结果回传。例中伪协议不替代当前API完整schema。

原始依据（可选核对）
https://developers.openai.com/api/docs/guides/function-calling

COMPACT · OpenAI Compaction

压缩接口与状态续接；本书可读摘要示例不能被理解为所有服务端压缩都返回同样文本。

原始依据（可选核对）
https://developers.openai.com/api/docs/guides/compaction

CONTEXT · Anthropic：上下文工程

上下文选择、裁剪、压缩与长任务。数字预算与保真案例为自编。

原始依据（可选核对）
https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents

CLAUDE · Claude Code公开运行说明

仅讨论公开机制，不推断未公开提示词、阈值或模型内部。

原始依据（可选核对）
https://code.claude.com/docs/en/how-claude-code-works

CLAUDE-SUB · Claude Code子Agent

上下文、工具和委派边界需按具体配置核查，不能假定无限继承。

原始依据（可选核对）
https://code.claude.com/docs/en/sub-agents

COPILOT · GitHub Copilot CLI公开说明

产品行为可能随版本变化；三产品比较示例是验证方法，不伪造实测排名。

原始依据（可选核对）
https://docs.github.com/en/copilot/concepts/copilot-surfaces/copilot-cli

CODEX · Codex固定源码快照：工具路由

固定提交ce0323f2f2d3b25e82806cd555237da3db4e1897。注册、模型可见与运行时分派是不同环节。压缩流程还参看同提交compact.rs及本书源码专题。不是对最新main的声明。

原始依据（可选核对）
https://github.com/openai/codex/blob/ce0323f2f2d3b25e82806cd555237da3db4e1897/codex-rs/core/src/tools/router.rs

MCP-LIFE · MCP 2025-06-18：生命周期

initialize、能力协商和initialized；示例遵循固定协议版，兼容性以实际双方声明为准。

原始依据（可选核对）
https://modelcontextprotocol.io/specification/2025-06-18/basic/lifecycle

MCP-TOOLS · MCP 2025-06-18：工具

工具发现、调用与结果；发现不等于执行权限，也不等于业务批准。

原始依据（可选核对）
https://modelcontextprotocol.io/specification/2025-06-18/server/tools

SSE · WHATWG：Server-sent events

字节、UTF-8、行与事件分别处理。教学解析器声明只覆盖LF子集，不声称是完整标准实现。

原始依据（可选核对）
https://html.spec.whatwg.org/multipage/server-sent-events.html

BM25 · Stanford信息检索教材：BM25

正文明确采用非负IDF变体ln(1+(N−df+0.5)/(df+0.5))，而非把所有实现的IDF视为相同。

原始依据（可选核对）
https://nlp.stanford.edu/IR-book/html/htmledition/okapi-bm25-a-non-binary-model-1.html

RRF · Elasticsearch：RRF

排名融合按位置求和；本书明确排名从1开始、常数60以及每列表去重。

原始依据（可选核对）
https://www.elastic.co/docs/reference/elasticsearch/rest-apis/reciprocal-rank-fusion

HNSW · HNSW原始研究

图搜索是近似检索的一种。三个点的贪心反例只解释探索局限，不模拟完整多层图算法。

原始依据（可选核对）
https://arxiv.org/abs/1603.09320

DPO · Direct Preference Optimization

本书用两候选概率手算目标差，不把候选概率或loss当作实际训练提升。

原始依据（可选核对）
https://arxiv.org/abs/2305.18290

PPO · Proximal Policy Optimization

正负advantage下的裁剪目标；数字是本书构造的单步例子。

原始依据（可选核对）
https://arxiv.org/abs/1707.06347

SPEC · Fast Inference from Transformers via Speculative Decoding

接受概率与拒绝残差分布；单步离散分布用于证明不能拒绝后直接照原分布重抽。

原始依据（可选核对）
https://arxiv.org/abs/2211.17192

FLASH · FlashAttention

分块与在线归一化的思想；CPU标准库数值见证不证明GPU性能。

原始依据（可选核对）
https://arxiv.org/abs/2205.14135

PAGED · PagedAttention / vLLM

分页与KV缓存的映射；页面编号和token数都是教学设定。

原始依据（可选核对）
https://arxiv.org/abs/2309.06180

SQLITE · SQLite事务

数据库事务不自动包住外部工具和文件副作用。

原始依据（可选核对）
https://sqlite.org/lang_transaction.html

OS · Python os.replace

同文件系统中成功替换的原子性，不等于跨文件数据库事务、耐久性保证或比较后写入。

原始依据（可选核对）
https://docs.python.org/3/library/os.html#os.replace

SKILLS · Agent Skills开放规范

元数据、正文、资源及渐进加载；项目路由质量需真实任务检验。

原始依据（可选核对）
https://agentskills.io/specification

EVALS · Anthropic：Agent评测

任务、轨迹、判分与可靠性需区分；本书分母和统计数字都是构造例。

原始依据（可选核对）
https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents

AWQ · Activation-aware Weight Quantization

激活影响权重误差向输出传播的大小；局部误差例不等于论文量化实现或基准成绩。

原始依据（可选核对）
https://arxiv.org/abs/2306.00978