阅读指南与附录

知识主题索引

阅读工具约 2.2 千字

按知识主题查找基础课、系统章节与拓展讲义。下表的206项来自不同类型的论文、课程和公开文档；对应关系表示主题关联，不表示已经复现每篇资料的全部实验与附录。

本章目录

系统篇与预备知识

系统章节	基础课
01｜输入究竟是什么：从用户的一句话到模型张量	F01 · F02 · F03 · F04 · F05 · F06 · F09 · F15 · F18 · F22 · F37
02｜一次Transformer前向：逐张量、逐算子讲明白	F07 · F08 · F09 · F10 · F11 · F14
03｜注意力的深入追问：位置、掩码、多头与反向传播	F08 · F11 · F12 · F13 · F14 · F17 · F18
04｜输出是怎样一个Token一个Token生成的	F09 · F14 · F15 · F16 · F21
05｜训练的一步：从正确标签到参数真正改变	F06 · F09 · F17 · F18 · F21
06｜后训练、MoE与模型定制：能力和行为如何改变	F07 · F09 · F18 · F19 · F20
07｜KV Cache、FlashAttention与PagedAttention的内部过程	F06 · F07 · F08 · F11 · F12 · F13 · F16 · F21
08｜推理服务：调度、吞吐、延迟和并行	F06 · F09 · F16 · F20 · F21 · F38
09｜Agent一次任务的完整循环：谁在思考，谁在执行	F01 · F15 · F22 · F23 · F24
10｜模型输出怎样变成真实工具调用：协议与执行边界	F03 · F22 · F23 · F24 · F33
11｜工具设计与MCP：从连接到可控执行	F23 · F24 · F25 · F33 · F37
12｜Codex、Claude Code、Copilot：从公开事实到可诊断运行链	F22 · F23 · F24 · F25 · F26 · F27 · F32 · F37
13｜每一轮Prompt怎样组装：上下文是一条数据管线	F03 · F24 · F25 · F26 · F27 · F32
14｜上下文压缩：到底压掉什么，丢失后又如何恢复	F16 · F24 · F26 · F27 · F31 · F33 · F35
15｜检索离线链路：文档怎样变成可查询索引	F03 · F07 · F09 · F28 · F29 · F37
16｜检索在线链路：召回、融合、重排与证据充足性	F09 · F28 · F29 · F35
17｜代码智能：从文本搜索到符号、版本与运行证据	F24 · F28 · F29 · F30 · F34
18｜长期记忆：写入、检索、冲突、失效与遗忘	F24 · F27 · F28 · F29 · F31 · F35
19｜Skills与路由：怎样加载刚好需要的专业能力	F22 · F25 · F26 · F30 · F31 · F32 · F35
20｜多Agent：并行的收益与交接的损失	F24 · F30 · F32 · F33 · F34 · F35
21｜可靠执行：重试、幂等、崩溃与状态恢复	F23 · F24 · F30 · F33 · F37
22｜工程质量：从需求到测试，再到真正可交付的代码	F24 · F30 · F33 · F34 · F35
23｜Evaluation：怎样证明一次优化真有收益	F09 · F28 · F34 · F35 · F36
24｜安全：指令边界、沙箱、权限与记忆污染	F23 · F25 · F31 · F33 · F37
25｜生产运行：Trace、成本、队列、灰度与回滚	F21 · F24 · F33 · F35 · F36 · F37 · F38
26｜深度应用：把组件组合成能解释的工作系统	F22 · F24 · F27 · F29 · F30 · F31 · F33 · F34 · F35 · F37 · F38 · F39
27｜事实可靠性、多模态与可解释性：能力边界在哪里	F09 · F14 · F17 · F19 · F35 · F36 · F39
28｜研究深水区与系统综合判断	F07 · F11 · F16 · F18 · F19 · F20 · F21 · F26 · F27 · F35 · F36 · F39 · F40

206项拓展主题

编号	主题与中文讲义	相关系统章节
0.1	LLM课程：概念与工具全景	01 · 09 · 12
0.2	图解GPT-2：自回归模型	01 · 09 · 12
0.3	构建有效的智能体	01 · 09 · 12
0.4	展开Codex智能体循环	01 · 09 · 12
0.5	从零构建语言模型的知识版图	01 · 09 · 12
1.1	图解Transformer	01 · 02 · 03 · 06 · 28
1.2	分词流水线	01 · 02 · 03 · 06 · 28
1.3	注意力与Transformer原始架构	01 · 02 · 03 · 06 · 28
1.4	带代码注解的Transformer	01 · 02 · 03 · 06 · 28
1.5	图解词向量	01 · 02 · 03 · 06 · 28
1.6	注意力机制的不同形式	01 · 02 · 03 · 06 · 28
1.7	旋转位置编码RoPE	01 · 02 · 03 · 06 · 28
1.8	分组查询注意力	01 · 02 · 03 · 06 · 28
1.9	稀疏专家与路由	01 · 02 · 03 · 06 · 28
1.10	少样本与上下文学习	01 · 02 · 03 · 06 · 28
1.11	Llama3：完整模型系统案例	01 · 02 · 03 · 06 · 28
1.12	DeepSeek-V3：稀疏模型工程	01 · 02 · 03 · 06 · 28
1.13	Qwen3：推理与非推理模式	01 · 02 · 03 · 06 · 28
1.14	LLM技术研究全景	01 · 02 · 03 · 06 · 28
2.1	语言模型缩放规律	05 · 06 · 28
2.2	计算最优训练与Chinchilla	05 · 06 · 28
2.3	训练语料的来源与构成	05 · 06 · 28
2.4	训练数据去重	05 · 06 · 28
2.5	数据、缩放与训练评估	05 · 06 · 28
2.6	SFT与RLHF	05 · 06 · 28
2.7	直接偏好优化DPO	05 · 06 · 28
2.8	基于原则的AI反馈	05 · 06 · 28
2.9	近端策略优化PPO	05 · 06 · 28
2.10	模型行为规范与指令层级	05 · 06 · 28
2.11	思维链提示与多步骤推理	05 · 06 · 28
2.12	通过强化学习形成推理能力	05 · 06 · 28
2.13	过程监督与结果监督	05 · 06 · 28
2.14	多路径采样与自一致性	05 · 06 · 28
2.15	思维树与外部搜索	05 · 06 · 28
3.1	文本生成与解码策略	04 · 07 · 08 · 25
3.2	退化文本与核采样	04 · 07 · 08 · 25
3.3	KV缓存策略	04 · 07 · 08 · 25
3.4	推理模型的API使用	04 · 07 · 08 · 25
3.5	推理模型的使用边界	04 · 07 · 08 · 25
3.6	Prefill与Decode	04 · 07 · 08 · 25
3.7	提示前缀缓存	04 · 07 · 08 · 25
3.8	分页管理KV缓存	04 · 07 · 08 · 25
3.9	注意力的IO优化	04 · 07 · 08 · 25
3.10	推测解码	04 · 07 · 08 · 25
3.11	推理服务架构	04 · 07 · 08 · 25
3.12	端到端延迟优化	04 · 07 · 08 · 25
4.1	提示工程基础	01 · 10 · 13
4.2	提示组织与版本管理	01 · 10 · 13
4.3	输入可信度与指令冲突	01 · 10 · 13
4.4	函数调用协议	01 · 10 · 13
4.5	结构化输出与约束	01 · 10 · 13
4.6	流式响应与事件组装	01 · 10 · 13
4.7	Claude提示设计	01 · 10 · 13
4.8	扩展推理与状态连续性	01 · 10 · 13
5.1	推理、行动与观察	09 · 10 · 11 · 21
5.2	构建Agent的实践方法	09 · 10 · 11 · 21
5.3	Agent组件与工作流	09 · 10 · 11 · 21
5.4	运行器、会话与追踪	09 · 10 · 11 · 21
5.5	在训练中学习工具使用	09 · 10 · 11 · 21
5.6	语言反馈与任务反思	09 · 10 · 11 · 21
5.7	面向Agent设计工具	09 · 10 · 11 · 21
5.8	MCP的作用与边界	09 · 10 · 11 · 21
5.9	MCP主机、客户端与服务器	09 · 10 · 11 · 21
5.10	通过代码组合工具	09 · 10 · 11 · 21
5.11	检查点、恢复与状态持久化	09 · 10 · 11 · 21
5.12	跨Agent通信协议	09 · 10 · 11 · 21
6.1	Codex输入组装与执行循环	12 · 13 · 14 · 19 · 20
6.2	Codex App Server与会话原语	12 · 13 · 14 · 19 · 20
6.3	面向Agent的工程环境	12 · 13 · 14 · 19 · 20
6.4	如何阅读Codex的公开实现	12 · 13 · 14 · 19 · 20
6.5	托管Harness的职责边界	12 · 13 · 14 · 19 · 20
6.6	Claude Code工作机制	12 · 13 · 14 · 19 · 20
6.7	Claude Code的上下文组成	12 · 13 · 14 · 19 · 20
6.8	项目指令与自动记忆	12 · 13 · 14 · 19 · 20
6.9	子Agent的隔离与权限	12 · 13 · 14 · 19 · 20
6.10	Claude Code技能扩展	12 · 13 · 14 · 19 · 20
6.11	执行节点与Hooks	12 · 13 · 14 · 19 · 20
6.12	Claude Code权限控制	12 · 13 · 14 · 19 · 20
6.13	有效的编码任务组织	12 · 13 · 14 · 19 · 20
6.14	Copilot CLI的执行环境	12 · 13 · 14 · 19 · 20
6.15	Copilot自定义Agent	12 · 13 · 14 · 19 · 20
6.16	Copilot CLI的任务流程	12 · 13 · 14 · 19 · 20
6.17	区分五种定制机制	12 · 13 · 14 · 19 · 20
6.18	Copilot技能加载	12 · 13 · 14 · 19 · 20
6.19	Copilot记忆与证据	12 · 13 · 14 · 19 · 20
6.20	插件的组合与分发	12 · 13 · 14 · 19 · 20
6.21	程序化调用与工具访问	12 · 13 · 14 · 19 · 20
7.1	有效的上下文工程	07 · 13 · 14
7.2	长上下文中的位置效应	07 · 13 · 14
7.3	上下文容量与状态	07 · 13 · 14
7.4	长上下文多任务评测	07 · 13 · 14
7.5	标称窗口与有效能力	07 · 13 · 14
7.6	不透明压缩状态与连续执行	07 · 13 · 14
7.7	摘要型压缩概览	07 · 13 · 14
7.8	主动压缩与阶段边界	07 · 13 · 14
7.9	工具结果清理	07 · 13 · 14
7.10	按阈值触发压缩	07 · 13 · 14
7.11	缓存与压缩的相互作用	07 · 13 · 14
8.1	检索增强生成的基础	15 · 16 · 17
8.2	上下文增强的混合检索	15 · 16 · 17
8.3	倒数排名融合RRF	15 · 16 · 17
8.4	稠密段落检索DPR	15 · 16 · 17
8.5	晚交互与多向量检索	15 · 16 · 17
8.6	假设文档辅助检索	15 · 16 · 17
8.7	树状摘要索引	15 · 16 · 17
8.8	代码搜索语法	15 · 16 · 17
8.9	精确搜索与范围控制	15 · 16 · 17
8.10	语法树与增量解析	15 · 16 · 17
8.11	定义、引用与语言服务	15 · 16 · 17
8.12	仓库级迭代检索与生成	15 · 16 · 17
8.13	仓库级补全评测	15 · 16 · 17
8.14	代码语义搜索数据集	15 · 16 · 17
8.15	异构检索评测	15 · 16 · 17
8.16	排序检索指标	15 · 16 · 17
9.1	语言Agent的认知架构	14 · 18
9.2	分层记忆与上下文换入换出	14 · 18
9.3	长期记忆的类型与命名空间	14 · 18
9.4	会话状态与长期Store	14 · 18
9.5	记忆流、反思与计划	14 · 18
9.6	长期互动记忆评测	14 · 18
9.7	超长会话中的记忆能力	14 · 18
9.8	动态关联的记忆组织	14 · 18
9.9	记忆提取与更新流水线	14 · 18
9.10	图结构与全局问题检索	14 · 18
10.1	渐进式技能加载	11 · 19 · 20
10.2	技能规范与资源组织	11 · 19 · 20
10.3	技能选择与执行上下文	11 · 19 · 20
10.4	Copilot技能的适用范围	11 · 19 · 20
10.5	Codex技能加载与使用	11 · 19 · 20
10.6	选择正确的扩展层	11 · 19 · 20
10.7	主Agent与并行研究者	11 · 19 · 20
10.8	工作流、并行与动态编排	11 · 19 · 20
10.9	控制权交接	11 · 19 · 20
10.10	Agent配置与作为工具调用	11 · 19 · 20
10.11	简单流程作为强基线	11 · 19 · 20
10.12	多Agent对话框架	11 · 19 · 20
11.1	跨上下文持续开发	21 · 22 · 26
11.2	长应用开发的反馈结构	21 · 22 · 26
11.3	面向Agent的计算机接口	21 · 22 · 26
11.4	代码审查的目的与流程	21 · 22 · 26
11.5	并行Agent构建编译器案例	21 · 22 · 26
11.6	使用Agent进行代码审查	21 · 22 · 26
11.7	审查标准与非完美交付	21 · 22 · 26
11.8	设计、功能、复杂度与测试	21 · 22 · 26
11.9	测试金字塔	21 · 22 · 26
11.10	持续集成与反馈速度	21 · 22 · 26
11.11	记录架构决策及其条件	21 · 22 · 26
11.12	编码Agent质量回退复盘	21 · 22 · 26
11.13	推理与执行环境解耦	21 · 22 · 26
12.1	Agent评测的完整方法	23 · 27
12.2	工作流评测	23 · 27
12.3	执行轨迹评分	23 · 27
12.4	持续评测学习框架	23 · 27
12.5	数据集与评分标准	23 · 27
12.6	模型评委与评分偏差	23 · 27
12.7	真实Issue修复基准	23 · 27
12.8	评测环境与任务变体	23 · 27
12.9	基础设施噪声与比较偏差	23 · 27
12.10	跨环境Agent评测	23 · 27
12.11	规则、工具和重复成功率	23 · 27
12.12	时间更新与污染控制	23 · 27
12.13	通用助手的综合任务	23 · 27
13.1	LLM应用风险类别	11 · 21 · 24
13.2	Agent应用风险类别	11 · 21 · 24
13.3	特权指令与不可信内容	11 · 21 · 24
13.4	提示注入攻击模型	11 · 21 · 24
13.5	通过外部内容间接注入	11 · 21 · 24
13.6	文件系统与网络隔离	11 · 21 · 24
13.7	自动批准的误拦与漏拦	11 · 21 · 24
13.8	不同产品中的隔离边界	11 · 21 · 24
13.9	安全治理与威胁建模	11 · 21 · 24
13.10	权限规则和任务风险	11 · 21 · 24
14.1	模型、工具和交接追踪	08 · 25
14.2	生成式AI的语义约定	08 · 25
14.3	模型与Agent的Span	08 · 25
14.4	监控系统的信号选择	08 · 25
14.5	服务目标与错误预算	08 · 25
14.6	部署前的工程检查	08 · 25
14.7	限流、退避与预算	08 · 25
14.8	端到端任务延迟	08 · 25
14.9	执行状态与模型运行的解耦	08 · 25
14.10	提示、评测与模型优化	08 · 25
14.11	工具组合与成本边界	08 · 25
15.1	低秩参数适配	06 · 26 · 27 · 28
15.2	量化模型上的高效微调	06 · 26 · 27 · 28
15.3	激活感知权重量化	06 · 26 · 27 · 28
15.4	知识蒸馏	06 · 26 · 27 · 28
15.5	参数高效微调的工程组织	06 · 26 · 27 · 28
15.6	事实性与模仿错误观念	06 · 26 · 27 · 28
15.7	置信度与校准	06 · 26 · 27 · 28
15.8	按需检索与自我评价	06 · 26 · 27 · 28
15.9	检索证据不足时的纠正	06 · 26 · 27 · 28
15.10	计算机操作的观察行动循环	06 · 26 · 27 · 28
15.11	截图、坐标和操作反馈	06 · 26 · 27 · 28
15.12	真实桌面任务评测	06 · 26 · 27 · 28
15.13	图形界面定位	06 · 26 · 27 · 28
15.14	浏览器与桌面执行环境集成	06 · 26 · 27 · 28
15.15	单义特征与稀疏分解	06 · 26 · 27 · 28
15.16	稀疏自编码器的规模与评价	06 · 26 · 27 · 28
15.17	机制可解释性的研究方法	06 · 26 · 27 · 28
16.1	从自动求导到语言模型	01 · 28
16.2	最小GPT训练系统	01 · 28
16.3	从零训练的实践路线	01 · 28
16.4	模型生态的实际使用	01 · 28
16.5	数学、概率与优化基础	01 · 28
16.6	张量、自动求导与模型训练	01 · 28

阅读辅助： 运行示例索引 · 两句话穿过模型的完整数表 · 数值与状态核验