数学与实现补充

Zero to Hero从基础神经网络与自动求导逐步连接到语言模型，适合通过实现理解计算图、训练与生成。课程内容不等于使用Agent前必须完成的全部前置条件。

先掌握一条完整链：输入、运算、损失、梯度、更新、评价，再扩展模型结构。只复制训练代码容易忽略目标对齐与数据问题。

原创练习：手算一个标量模型的梯度，再用有限差分核对，说明误差来自哪里。

完成标准是能解释每步运算与训练目标，而不是只看到损失下降曲线。

nanoGPT以较简洁实现连接数据、GPT模型、训练与采样。它适合源码学习，但本书没有声称下载、训练或复现其性能。

阅读时应固定版本，追踪输入形状、因果掩码、目标右移与生成循环。训练代码和推理代码承担不同工作。

原创练习：在纸上列出一个批次的输入与目标，检查是否发生未来信息泄漏，再说明推理时为何没有梯度更新。

完成标准是能够定位关键组件，不要求先训练出具有实用规模的模型。

再次进入CS336实践支线时，重点是把模型、数据和系统实验组织成可复现过程。配置、版本和评价条件与代码同样重要。

训练异常可能来自数据、优化、精度或实现，不应首先假定需要更大模型。小实验有助于隔离变量。

原创练习：设计一次只改变学习率的比较，固定数据与随机设置，记录训练及验证变化。

完成标准是能够提出并检验因果假设，而不是同时改动许多参数后只保留最好一次结果。

Hugging Face工具生态帮助加载模型、Tokenizer与数据，并组织训练和推理。高层接口降低使用门槛，但不应掩盖底层输入输出含义。

同一pipeline名称可能使用不同模型和配置，结果需结合实际资源解释。库版本与模型文件也应记录。

原创练习：把一次高层调用拆成编码、模型前向和后处理，检查每层形状与输出类型。

完成标准是能在高层接口失败时找到对应层，而不是只能反复修改自然语言Prompt。

深度学习教材提供线性代数、概率、优化和网络基础。对本课程，最重要的是理解矩阵变换、条件概率、损失与链式法则之间的联系。

数学公式应能转成具体计算与维度检查。符号记忆不能替代理解，也不必为掌握全部理论而停止实际实验。

原创练习：手算softmax、交叉熵和一个简单梯度，解释数值变化对应什么学习信号。

完成标准是能读懂小模型核心公式，并知道哪些结论依赖特定假设。

PyTorch通过张量与自动求导支持模型实现。自动求导计算梯度，优化器更新参数，两者不是同一动作；推理通常不需要保存同样的训练图。

框架不会判断你的损失是否表达正确业务目标，也不会自动避免数据泄漏。维度、目标和训练/验证模式仍需检查。

原创练习：用本书无需依赖的标量实验先验证梯度，再在合适环境中迁移到张量库，比较结果。

完成标准是理解框架负责什么、开发者负责什么。本包不依赖某个当前PyTorch版本即可阅读和运行基础实验。