阅读指南与附录
把数字改一下,看每一步怎样变化
四个本地交互实验。没有网络请求,不调用商业模型,不需要安装程序;它们检验你是否读懂数值与对象关系,不衡量模型的语言能力。
1.张量形状与存储大小
修改三个轴的长度。注意编号表只有B和T,查表结果才新增每个位置的宽度d。
试一试:把T改128、d改4096、字节改2。这里只估算输出这一份数字,不包含模型参数与缓存。
2.选一个编号,看它实际取出哪一行
| 编号 | 片段 | 第0个数 | 第1个数 | 第2个数 | 第3个数 |
|---|---|---|---|---|---|
| 0 | <PAD> | 0.0 | 0.0 | 0.0 | 0.0 |
| 1 | 我 | 0.2 | -0.1 | 0.7 | 0.4 |
| 2 | 爱 | -0.3 | 0.8 | 0.1 | 0.5 |
| 3 | 学习 | 0.6 | 0.2 | -0.4 | 0.9 |
| 4 | 你 | 0.1 | -0.5 | 0.9 | 0.3 |
| 5 | ! | -0.2 | 0.4 | 0.5 | -0.6 |
所有数字是特意设置的小数与负数,并非0/1的二进制编码;没有把每一列固定解释成某种语义。选择编号后,下方同时显示这个编号对应的One-hot标识和真正从参数表查出的浮点向量。
3.从分数到概率,四步全部写出来
依次看:减最大值、取指数、求总和、除总和。把所有分数都加1000,概率应保持相同。
4.有历史缓存后,哪些位置可以被读取
查询位置在行,供读取的位置在列。已有3个位置再处理2个新位置时,表是2行5列,而不是2行2列。
此表只展示因果可见关系。真实接口还需合并填充与其他掩码,并核对真假及偏移约定。