F02｜一排数、一张表和一叠表：读懂张量与形状

从具体对象与小例子开始，理解计算过程与适用条件。

先不背“张量是多维数组”

单个数7可以叫标量。一排有顺序的数[7,2,9]叫向量。两排这样的数组成一张有行有列的表，叫矩阵：

A = [[7,2,9],
     [4,8,1]]

这张表有2行、每行3个数，形状（shape）写作[2,3]。这里的[2,3]是在描述大小，不是表里真的只存2和3。区分“内容”和“形状”是第一道关口。

在机器学习程序里，张量（tensor）是存放规则排列数字的通用数据结构。标量、向量、矩阵都可以用张量表示。这里不需要数学和物理中更抽象的张量变换定义。

从两张表理解三个轴

假设两句话各有3个文本片段，每个片段用4个数描述。第一句话对应一张3行4列的表，第二句话也对应一张3行4列的表。把两张表放在一起，就是形状[2,3,4]的张量：

第0句话：[[0.2,-0.1,0.7,0.4],    第1句话：[[0.1,-0.5,0.9,0.3],
          [-0.3,0.8,0.1,0.5],              [-0.3,0.8,0.1,0.5],
          [0.6,0.2,-0.4,0.9]]              [0,0,0,0]]

每个决定“往哪个方向数”的位置叫一个轴（axis）。这三个轴依次是“第几句话”“第几个片段”“这个片段的第几个数”。最后一个轴不是把编号转换成4位二进制；它是因为每个文本片段从单个编号换成了4个数值特征。这些特征可以是小数、负数，不要求只有0与1。具体查表过程在F05完整展开。轴的意义由你怎样组织数据决定，不是张量自己知道中文句子是什么。

因此[2,3,4]含2×3×4=24个数。一般地，把形状中的各个长度相乘，得到规则密集张量的元素总数。

方括号中的数字不是同一种“维度”

“这是一个三维张量”通常说它有3个轴；“每个Token是4096维向量”说每排有4096个数。这两句话里的“维”指的不是同一个层次。

后面采用统一写法：B是本批有多少条输入，T是每条输入安排多少个位置，d是每个位置用多少个数描述。于是[B,T,d]就是“B张表，每张T行，每行d个数”。

当B=2,T=128,d=4096时，它仍然只有3个轴，并不是4096个轴；元素总数为1,048,576。4096是每个位置那一排数的宽度，不是有4096个汉字，也不是模型一共只有4096个参数。

怎么找到里面的一个数

本书代码使用从0开始的下标。A[0,1]指第0行、第1列，在上面的矩阵A中是2。方括号用在变量名后面时常表示索引；独立写“shape=[2,3]”时才是在说大小，要看上下文。

对H形状[2,3,4]：H[1]取第二句话，剩下一张[3,4]表；H[1,0]取第二句话第一个片段，剩一排4个数；H[1,0,2]再取第三个特征，得到单个数。用哪个下标取出数据，哪个轴就被选定了。

冒号表示“这一轴都要”。H[1,:,2]取第二句话每个片段的第三个数，得到长度3的一排数。H[:,:,0]取所有句子所有位置的第一个特征，得到[2,3]。

符号不认识时怎样读公式

x_i读“x的第i个数”；x²是x乘x；Σ表示“把后面规定的一组数加起来”；∈表示“属于”；R在公式中常表示实数。X∈R^(B×T×d)只是“X是一份形状B、T、d的实数数据”。这不是要求你当场解一个方程。

代码里的=常是“把右边结果保存到左边”；数学里的=常是“左右相等”。:=强调定义；≈表示近似相等。公式中大写T可能是序列长度，上标ᵀ却是转置符号，转置会在F07解释，不能混读。

课后自检

机制依据：[F-TENSOR][F-LINALG]。本节数值与情景除另注外均为原创教学示例；来源不代替中文讲解。