F20｜低秩、量化、专家：先看究竟少算了什么

从具体对象与小例子开始，理解计算过程与适用条件。

“低秩”先用一张重复结构的表理解

看矩阵[[1,2,3],[2,4,6]]。第二行就是第一行乘2，所以两行不是两个独立方向。可以把它拆成：

A = [[1],[2]]    B = [[1,2,3]]
AB = [[1,2,3],[2,4,6]]

秩rank粗略描述矩阵含多少个线性独立方向。上例秩为1。一般不是每张大表都能用很小秩精确表示；低秩近似会限制表示能力。

LoRA改的不是整个基础模型

设已有权重W形状[d_in,d_out]。LoRA冻结W，用较小的A=[d_in,r]、B=[r,d_out]表示一个增量ΔW=AB，再用W+缩放×ΔW计算。

这里r远小于原尺寸时，需要训练的参数由d_in×d_out变为d_in×r+r×d_out。例如8×8矩阵64个数，r=2时增量32个数。不同文献采用列向量约定时可能写成BA，理解形状比只背字母顺序重要。

这不表示“模型知道的事实都被放在LoRA里”，也不表示训练整个过程只剩这点内存。基础权重、激活和其他状态仍存在。

量化是在有限刻度上表示数字

量化quantization是用更少的数值表示位置近似原始值。一个教学规则是先除以尺度s、四舍五入到整数q，再用s×q近似还原。

例如s=0.1，x=0.26，q=round(2.6)=3，还原0.3，误差0.04。实际量化还有范围裁剪、偏移、分组尺度和不同格式，不能拿这个最小例子代替全部实现。

权重量化缩小的是权重表示；KV量化缩小的是缓存表示；激活量化又是另一对象。写“4bit模型”不能自动推断所有运行内存都是4bit。

QLoRA组合了量化基础权重与参数高效微调等技术。它不等于把所有参与求导的数都用极低精度存储。

MoE为什么很多参数但只调用部分

MoE（混合专家）在一些层准备多组可选择的子网络，路由器根据当前Token表示选择部分专家计算，再合并结果。例如有8个专家，每个Token只选择2个。

减少的是本次每个Token激活的专家计算，不是系统里完全不需要其他专家的参数。不同Token可以选不同专家，因此服务仍要能获得所需权重；还要处理负载不均和跨设备通信。

“专家”是结构名称，不天然意味着某组就是数学专家、某组就是情感专家。神经网络内部的MoE路由，与Agent根据任务选择另一个模型，是不同层面的路由。

蒸馏与微调究竟在干什么

蒸馏distillation让学生模型学习教师的输出或分布等信号；教师可以提供训练目标，但学生仍需要训练和独立评估。教师的一次回答错误也可能被学进去。

微调fine-tuning泛指在已有模型基础上继续训练部分或全部参数。它适合改变稳定的任务行为分布，不通常是同步实时业务事实的第一选择；实时事实更适合版本化检索。

Scaling Laws为什么不是永恒比例表

规模研究尝试拟合参数量、数据量和计算预算与损失之间的关系。在给定架构、数据和训练条件下，可以帮助分配预算。

把一个经验拟合比例当成所有模型的固定法则，会忽视部署成本、重复数据、数据质量和新架构。高级章节保留推导；基础上先懂“总参数、激活参数、训练参数、存储精度”四个量不是一回事。

课后自检

机制依据：[LORA][QLORA][V3][CHINCHILLA]。本节数值与情景除另注外均为原创教学示例；来源不代替中文讲解。