图解 · 运行过程 · 工程取舍
组批没有把两句话混成一句
为了整齐补上的PAD,会不会被模型误当成内容?
配套正文:F04基础课
动态图解 · F04
组批没有把两句话混成一句
为了整齐补上的PAD,会不会被模型误当成内容?
组批像把几张试卷一起送进机器,但每张试卷仍单独计算。补齐让它们占用同样多的位置;有效位置表让模型知道哪些格子只是空位。整齐的数组形状不能替代真实长度信息。
B本批几条输入。
T数组为每条输入安排了多少位置。
PAD占位符,不是原文中新增的词。
输入与适用条件:B=2,T=3,右侧补齐。可见性、取输出位置必须与这一约定一致。
1 / 4 · 长度不同
第1步,共4步
窄屏可左右滑动图形,或点击“放大图形”。文字解释紧随图后。
第一句三个位置,第二句两个位置。两句话仍各自独立。
本步状态由图形与说明共同给出。默认静止。用“下一步”看完解释再继续;播放到最后一步自动停止。键盘聚焦播放器后,可用左右键逐步查看、空格播放/暂停。图中颜色辅助区分,含义同时用文字注明。
逐步说明与计算记录
以下解释全部展开,与播放器使用同一份数据;不是另换输入的第二个算例。
1.长度不同
第一句三个位置,第二句两个位置。两句话仍各自独立。
2.补到相同长度
短句末尾放PAD编号0,占位而不增加真实内容。
3.保留有效位置表
用1标记真Token,用0标记PAD。该表帮助后续计算排除填充位置。
4.取最后有效位置
需要为“你爱”预测下一项时,应从“爱”的位置取结果,而不是从右侧PAD位置取。
为什么需要
许多张量运算要求规则形状,组批可提高设备利用。
怎样实现
短句补位,同时携带真实长度和匹配的mask;生成接口的左右补齐要求应另行核对。
可能的代价与误解
只补0却不屏蔽;或者无条件取最后一列,都可能改变短句结果。
如何判断是否做对
把同一句分别单独推理和混合长度组批,核对其有效位置输出。