阅读指南与附录
目录与学习路径
先建立基础,再解释内部过程,最后通过案例与实验形成工程判断。
本章目录
每个图解可暂停、前后逐步查看和放大。先读固定条件,再看数值或状态怎样变化;完整公式与深入内容仍在原课程中。
默认顺序为:前言 → 基础篇 → 系统篇 → 综合案例。专题研修与拓展阅读用于进一步研究,不是首次阅读的先修要求。各题列出的基础入口可用于复习具体概念。
数字与输入表示
F01—F06:文字、编号、形状、组批、Embedding与设备。
模型计算与生成
F07—F16:矩阵运算、概率、注意力、位置、网络层、生成与缓存。
训练与计算资源
F17—F21:梯度、损失、后训练、量化、复杂度与并行。
智能体执行与上下文
F22—F27:请求、工具、协议、事件、状态、输入组装与压缩。
知识、协作与可靠交付
F28—F34:检索、代码结构、记忆、技能、协作、恢复与测试。
评价与生产运行
F35—F40:指标、统计、安全、观测、成本与系统判断。
阅读辅助:公式、术语与对象来源贯穿基础篇与系统篇。F07先学系数表的乘法,F10区分参数与运行数据,F11再推导完整Q/K/V链。
基础篇:对象、计算与工程概念
输入与表示
F01|先分清:文字、数字、模型和运行它的程序F02|一排数、一张表和一叠表:读懂张量与形状F03|文字为什么要先变成Token编号F04|组批和补齐:为什么两句话变成[2,3]F05|Embedding查表:把一个编号换成一排数F06|“放到设备”是什么:数据类型、内存、CPU与GPU
模型计算与生成
F07|模型最常做的算术:加权求和、点积与矩阵乘法F08|reshape、转轴、广播:形状变了,内容未必算过F09|概率、指数与softmax:把分数变成比例F10|神经网络最小模型:参数、层、前向与隐藏状态F11|Attention逐步计算:先算相关分数,再混合内容F12|Mask不是黑箱:把“谁能看谁”写成一张表F13|位置编号与RoPE:先懂位置,再懂旋转F14|把Attention装进一层:残差、归一化与前馈网络F15|从最后一排数到一个Token,再到一句回答F16|KV Cache从零解释:为什么可以少算,又记住了什么
训练与计算资源
F17|微积分只学用得上的部分:导数、梯度与链式法则F18|一次训练从头到尾:标签、交叉熵和AdamF19|后训练的前置数学:偏好、奖励、概率比与KLF20|低秩、量化、专家:先看究竟少算了什么F21|算得快与装得下:复杂度、带宽、批处理和并行
智能体与上下文
F22|Agent不是另一个神经网络:用一次读文件讲清循环F23|API与流式协议:请求如何变成可执行数据F24|状态、事件与检查点:模型知道和系统记录的区别F25|工具与MCP:连接、发现、授权、执行四层拆开F26|上下文组装:每轮到底给模型什么,以及为什么F27|压缩不是魔法:摘要、原文和执行状态怎样配合
知识与可靠执行
F28|检索入门:目录、倒排索引、向量与近似搜索F29|从搜索结果到可信答案:召回、重排和证据F30|代码不是普通文档:语法树、调用关系与版本F31|长期记忆的基础:事实、经历、流程和时间F32|Skill、路由和多Agent:先理解谁负责什么F33|重试、幂等和事务:为什么超时不是失败证明F34|工程质量的基础:需求、反例、测试与审查
评测与生产判断
F35|评测指标的分母:成功率、精确率、召回率和passF36|别被几个百分点骗了:随机性、样本与统计判断F37|安全基础:数据能影响模型,但不能因此获得权限F38|看懂生产运行:Trace、队列、成本和回滚F39|多模态与可信度:图片怎样成为输入,解释为什么有限F40|从基础概念到系统分析:怎样定位问题,而不是再堆技术
系统篇:内部机制与连续追问
01|输入究竟是什么:从用户的一句话到模型张量02|一次Transformer前向:逐张量、逐算子讲明白03|注意力的深入追问:位置、掩码、多头与反向传播04|输出是怎样一个Token一个Token生成的05|训练的一步:从正确标签到参数真正改变06|后训练、MoE与模型定制:能力和行为如何改变07|KV Cache、FlashAttention与PagedAttention的内部过程08|推理服务:调度、吞吐、延迟和并行09|Agent一次任务的完整循环:谁在思考,谁在执行10|模型输出怎样变成真实工具调用:协议与执行边界11|工具设计与MCP:从连接到可控执行12|Codex、Claude Code、Copilot:从公开事实到可诊断运行链13|每一轮Prompt怎样组装:上下文是一条数据管线14|上下文压缩:到底压掉什么,丢失后又如何恢复15|检索离线链路:文档怎样变成可查询索引16|检索在线链路:召回、融合、重排与证据充足性17|代码智能:从文本搜索到符号、版本与运行证据18|长期记忆:写入、检索、冲突、失效与遗忘19|Skills与路由:怎样加载刚好需要的专业能力20|多Agent:并行的收益与交接的损失21|可靠执行:重试、幂等、崩溃与状态恢复22|工程质量:从需求到测试,再到真正可交付的代码23|Evaluation:怎样证明一次优化真有收益24|安全:指令边界、沙箱、权限与记忆污染25|生产运行:Trace、成本、队列、灰度与回滚26|深度应用:把组件组合成能解释的工作系统27|事实可靠性、多模态与可解释性:能力边界在哪里28|研究深水区与系统综合判断
综合案例
全程拆解A|一次输入怎样变成三个输出Token全程拆解B|一次仓库修复的每轮输入、输出、工具和恢复全程拆解C|从文档入库到检索、回答、记忆更新和遗忘全程拆解D|一次“变慢且变差”的Agent回归怎样查到根因