能力形成

缩放规律研究参数、数据、计算与语言建模损失之间的经验关系。它们来自一定实验范围，不是任意架构与任务都精确服从的自然定律，也不能把训练损失改善直接换算为业务成功率。

模型更大需要足够数据和优化；固定预算下，各投入有机会成本。服务生命周期还包括推理，训练最优不等于长期总成本最优。

原创练习：分别以训练损失和一年内成功任务成本为目标，比较扩大模型与增加训练数据。写清假设，不凭空给出最优参数数值或收益百分比。

完成标准是理解经验规律如何帮助预算决策，同时知道何时需要重新拟合和实验。把历史比例当永恒常数，会忽略架构、硬件与任务分布变化。

Chinchilla重新分析固定训练计算下参数与训练Token的分配，强调一些大型模型可能训练数据相对不足。它不是规定所有应用永远遵守同一个Token/参数比例。

如果模型以后被调用很多次，较小但训练更充分的模型可能在推理成本上值得考虑；这是另一个生命周期目标，需要额外分析，而非把原论文结果直接泛化。

原创练习：把总成本拆成一次训练和大量推理，比较低调用量与高调用量场景。说明为何不同部署需求可能选择不同训练分配。

完成标准是区分计算最优的具体定义。不要只问模型训练花了多少，也不要用历史论文的实验常数替代当前架构、数据和服务约束的测量。

The Pile展示多来源文本数据集的组织。语料不是同质“互联网文字”，文档、代码、论坛、论文具有不同结构、质量、重复和领域分布，会影响模型学到的模式。

数据治理需要来源、权限与许可、隐私、格式清理和训练测试隔离。公开可访问不能直接推出任何使用方式都不受限制。本书讨论工程检查，不提供未经核验的法律判断。

原创练习：为代码助手设计四类假想语料的混合理由，再分析只增加总字节量可能放大的噪声。检查同一材料多次转载是否被重复计数。

完成标准是把数据量与有效信息量区分。模型表现变化可能来自数据组成，而不只是参数或算法，因此实验记录必须包含数据版本与处理过程。

训练数据去重处理完全相同或近似重复内容，研究关注它对记忆化、泛化与评价重叠的影响。精确和近似去重的粒度、计算成本及误删风险不同。

去重不应越激进越好。代码相似模板可能有不同语义，文档版本差异可能记录重要变化。需要决定按文档、段落、函数还是片段处理，并保留必要来源。

原创练习：比较两段仅格式不同的代码与两条只差否定词的规则。前者可能可合并，后者不能仅因相似就去掉。再讨论如何识别测试集补丁已经出现在训练材料中。

完成标准是提高有效数据质量而非机械减少数量。任何清理策略都要检查误删与漏删，并通过独立评测验证，不应把相似度阈值当事实等价证明。

再次学习CS336的数据、缩放与评价时，重点转向训练系统：批次构造、目标对齐、优化器、数值稳定性与实验记录共同决定结果是否可解释。

训练失败不一定因为模型太小，可能是标签错位、损失实现、损坏数据或精度问题。系统性学习的价值是分层排查，而不是一失败就扩大规模重新训练。

原创练习：假设损失突然变成非数值，按输入标签、异常批次、学习率、梯度与精度提出排查路径。先构造最小复现，再决定是否重跑完整任务。

本条与初始课程入口不同：完成标准是能提出可复现的诊断实验。控制变量、保存配置和数据版本，比记住最新模型名称更能帮助可靠工程。

InstructGPT把监督微调、偏好收集、奖励建模和策略优化连接起来，改善模型按意图回答。后训练改变输出行为，不保证事实完全真实，也不自动消除训练数据问题。

演示样本说明怎样回答，偏好比较给相对信号，奖励模型近似偏好，策略优化推动行为。每层都可能有偏差，奖励高不等于业务正确。

原创练习：比较礼貌但错误与简洁但证据充分的回答，设计评价标准。把事实、格式、安全和实用性分别写清，避免一个“更喜欢”标签承担全部目标。

完成标准是理解后训练的信号链与代理目标风险。普通聊天反馈首先进入上下文或记忆，不应被描述成每次都实时执行这套参数训练流程。

DPO直接用偏好对优化模型，并与参考策略联系，避免典型RLHF中同样的显式奖励模型和在线策略优化步骤。它仍需要数据、参数训练与评价，不是无需训练的Prompt技巧。

偏好对如果只奖励长度或自信，模型可能学到错误行为。参考约束不能自动修正标签偏差，训练数据与目标定义仍是核心。

原创练习：为代码审查准备一对准确指出关键Bug的答案和一对无依据冗长挑错的答案，分析不同偏好标注会塑造什么行为。

完成标准是知道DPO优化了什么、没有保证什么。不能把论文方法简化成“用户点一次赞模型立即永久记住”，也不能由训练效率推断所有任务质量一定提高。

Constitutional AI利用原则指导批评、修订和AI反馈，探索减少部分人工反馈依赖。原则参与训练机制，不等于运行时粘贴一段规则就获得相同效果。

原则可能冲突，AI批评也可能错误。帮助用户、保持事实与控制风险需要结合情境，不能因为反馈来自模型就认为没有偏见。

原创练习：给代码助手“保持兼容”和“避免复杂度”两条原则，构造确实需要兼容层的任务。说明应通过证据调和，而非机械禁止任何新增结构。

完成标准是把原则作为指导和评测对象，而非形式化正确性证明。Skill和系统指令同样需要适用边界，不能因措辞绝对就假设模型行为完全确定。

PPO通过限制策略更新等设计改善优化稳定性，最初不是专为LLM提出。语言模型训练可把生成视作策略行为，但奖励、采样与参考约束仍需具体实现。

更新过大可能破坏已有能力，限制变化有助稳定，却不能修正错误目标。PPO只是算法组件，不等于完整RLHF系统。

原创练习：若奖励只鼓励输出长度，讨论策略优化为何可能产生冗长而非更准确答案。再比较限制更新与重新设计奖励分别解决什么问题。

完成标准是区分训练稳定和目标正确。工程上同样不能只看优化过程没有崩溃，就认为最终系统符合需求；必须有独立任务评测与回归。

Model Spec描述期望行为与指令冲突处理，是规范而非运行时权限保证。本书用可核验的2025-12-18版本解释概念，不将历史版冒充最新规范。

低信任网页可提供真实事实，但不能自行授权动作；高优先级规则约束行为，却不保证所述外部数据永不变化。内容可信度与指令优先级是不同维度。

原创练习：将用户目标、仓库注释、工具报错与开发者规则放在同一任务，标记哪些是要求、哪些是观察、哪些需核验。出现冲突时先检查来源与作用域。

完成标准是理解为什么模型规范与工具权限都需要。不能因规范写得完善就跳过注入、安全和实际执行测试，也不应把外部文档中的命令升级为用户指令。

Chain-of-Thought研究通过带中间步骤的示例改善一些多步任务表现。结论依赖模型和任务，不证明输出越长越正确，也不要求所有推理模型使用相同提示。

中间步骤可分解问题，也可能貌似合理却错误。最终答案正确与过程可靠不同；现代API内部推理和可见解释又不完全相同。

原创练习：用单位换算比较只给答案与给可核算步骤，再换成工具能直接计算的问题。分析额外解释何时帮助发现错误，何时只是重复。

完成标准是让推理更可验证而非更冗长。对事实问题，分步骤猜测不能代替来源；对执行任务，解释做了什么不能代替工具记录。

DeepSeek-R1区分R1-Zero与包含其他阶段的R1路线，研究强化学习与推理能力形成。不能把它们混写成完全不使用监督数据就获得所有能力。

可验证数学和代码奖励易提供部分信号，但开放业务目标更复杂。通过判题不代表自动掌握安全、长期状态或架构判断，训练能力与运行时工具也要分层。

原创练习：比较数值答案、单元测试通过、架构合理三种目标，判断反馈如何获得、容易遗漏什么。对难以自动评分的任务，应引入更谨慎的证据与评审。

完成标准是保留研究条件，不猜测闭源模型配方。报告提供一种成功路线，不证明所有模型必须或已经采用同一训练方法。

过程监督评价中间步骤，结果监督评价最终答案。细粒度信号可能帮助定位错误，但标注成本、步骤歧义和评分者能力都会影响可靠性。

代码补丁可能碰巧通过弱测试，推导也可能正确但实现出错。过程证据与运行结果各有作用，不应把任一种绝对化。

原创练习：构造错误推导但结果碰巧对、合理推导但最后算错两份答案，再给Agent一个正确工具名但错误参数的动作。分别设计评分与排查方式。

完成标准是理解Trace能帮助归因，却不能替代业务验收。数学研究中的优势不能直接变成每个小代码改动都要逐步评分的强制流程。

Self-Consistency采样多条推理路径，再聚合最终答案。它增加推理时计算，不是多个独立事实来源的交叉验证。

多路径可能共享错误前提，多数票仍然会错。还要有合理答案归并方式，开放式补丁不适合只看文字出现次数。

原创练习：比较唯一数值答案与多种正确设计的任务。前者可以聚合答案，后者更需要可执行测试和明确评价。观察采样成本是否值得新增成功。

完成标准是理解多路径的收益条件与相关性风险。不能把三次相同输出当成三份独立证据，也不能用最佳一次掩盖正常单次不稳定。

Tree of Thoughts将中间思路表示为搜索状态，通过评价、分支与回溯选择路径。它增加探索能力，也引入状态表示和评价错误。

外部搜索树与模型内部推理不同。如果评价器不能识别好分支，更多搜索可能只扩大错误；路径清晰的小任务也可能不需要树。

原创练习：为小型组合规划画三条路线，定义可验证淘汰条件；再换成一行配置修复，解释为什么不该照搬相同搜索规模。

完成标准是按任务结构选择探索深度。不要把复杂算法作为专业程度的象征，新增调用、评估和回溯都应有可观察收益。