阅读指南与附录

把数字改一下,看每一步怎样变化

阅读工具约 1 千字

四个本地交互实验。没有网络请求,不调用商业模型,不需要安装程序;它们检验你是否读懂数值与对象关系,不衡量模型的语言能力。

1.张量形状与存储大小

修改三个轴的长度。注意编号表只有B和T,查表结果才新增每个位置的宽度d。

试一试:把T改128、d改4096、字节改2。这里只估算输出这一份数字,不包含模型参数与缓存。

2.选一个编号,看它实际取出哪一行

编号片段第0个数第1个数第2个数第3个数
0<PAD>0.00.00.00.0
1我0.2-0.10.70.4
2爱-0.30.80.10.5
3学习0.60.2-0.40.9
4你0.1-0.50.90.3
5!-0.20.40.5-0.6

所有数字是特意设置的小数与负数,并非0/1的二进制编码;没有把每一列固定解释成某种语义。选择编号后,下方同时显示这个编号对应的One-hot标识和真正从参数表查出的浮点向量。

3.从分数到概率,四步全部写出来

依次看:减最大值、取指数、求总和、除总和。把所有分数都加1000,概率应保持相同。

4.有历史缓存后,哪些位置可以被读取

查询位置在行,供读取的位置在列。已有3个位置再处理2个新位置时,表是2行5列,而不是2行2列。

此表只展示因果可见关系。真实接口还需合并填充与其他掩码,并核对真假及偏移约定。

输入关键词即可检索。

↑ ↓ 选择 Enter 打开Esc 关闭 · 仅本地搜索

阅读设置

阅读设置仅保存在本机浏览器,不上传任何数据。