图解 · 运行过程 · 工程取舍
后训练改变行为，奖励不是事实裁判
既然模型会接下一Token，为什么还要SFT、偏好训练？
配套正文：F19基础课
动态图解 · F19
后训练改变行为，奖励不是事实裁判
既然模型会接下一Token，为什么还要SFT、偏好训练？
“能续写文本”不等于“能按用户意图回答”。监督微调提供示范回答，偏好训练比较候选行为；奖励只是一个被设计出来的评价信号。模型可能学到让评分变高的方式，因此还要独立检验真实性、任务完成和风险，而不能把奖励上升等同所有能力提升。
SFT用示范输入与目标回答继续监督训练。
策略模型在给定上下文下选择输出的概率规则。
参考模型用来衡量相对变化的冻结基线。
KL比较两个分布差异的一种量，不等于字面编辑距离。
输入与适用条件：本图仅展示偏好训练的数据关系，不把候选A/B标为真实产品测评；RLHF与DPO的具体目标区别保留在正文。
1 / 6 · 同一问题，两份回答
第1步，共6步
窄屏可左右滑动图形，或点击“放大图形”。文字解释紧随图后。
始终围绕同一个问题形成可比较候选，避免比较不同任务的分数。
本步状态由图形与说明共同给出。默认静止。用“下一步”看完解释再继续；播放到最后一步自动停止。键盘聚焦播放器后，可用左右键逐步查看、空格播放/暂停。图中颜色辅助区分，含义同时用文字注明。
逐步说明与计算记录
以下解释全部展开，与播放器使用同一份数据；不是另换输入的第二个算例。
1．同一问题，两份回答
始终围绕同一个问题形成可比较候选，避免比较不同任务的分数。
2．人或规则给偏好
标注偏好由准则产生，可能含噪声和偏差。
3．当前模型比较
模型用完整回答的条件概率参与训练，不是只看某一个字的分数。
4．参考模型比较
参考基线帮助定义相对改变；不是在线执行时必须再询问另一个助手。
5．形成训练信号
具体方法决定怎样形成更新。DPO不等同于先训练独立奖励模型再跑PPO。
6．重新评测
如果只用同一个评分器验收，很可能看不到过拟合或奖励投机。
为什么需要
在已有语言能力上塑造指令遵循和任务行为。
怎样实现
把示范、偏好、奖励、参考策略四个对象分开，明确采用何种训练目标。
可能的代价与误解
偏好不等于事实；奖励漏洞、分布偏移、行为过度收敛会出现。
如何判断是否做对
保留独立任务、不同判分来源和失败案例，报告真实行为的变化。