图解 · 运行过程 · 工程取舍
省参数、省位数、少激活不是同一种优化
LoRA、量化、MoE到底各自省了哪一部分？
配套正文：F20基础课
动态图解 · F20
省参数、省位数、少激活不是同一种优化
LoRA、量化、MoE到底各自省了哪一部分？
可以把系统的账分成三本：有多少参数要存、其中多少参数要更新、这次推理实际用到多少计算。LoRA主要减少需要训练的增量参数；量化改变数值存储表示；MoE选择部分专家计算。把它们统称“模型缩小了”会遗漏真正代价。
低秩增量用两张较窄矩阵表示权重变化，不是把整套基础权重删掉。
量化以有限刻度近似原数，可能有舍入和裁剪误差。
专家网络结构中的子网络，不天然对应某个人类专业。
输入与适用条件：本图比较技术作用对象；具体数值对照分别在O02量化、O03 LoRA、O08 MoE中声明独立输入。
1 / 6 · 原有大权重
第1步，共6步
窄屏可左右滑动图形，或点击“放大图形”。文字解释紧随图后。
先说你需要缩小的是哪本账，否则优化指标会错位。
本步状态由图形与说明共同给出。默认静止。用“下一步”看完解释再继续；播放到最后一步自动停止。键盘聚焦播放器后，可用左右键逐步查看、空格播放/暂停。图中颜色辅助区分，含义同时用文字注明。
逐步说明与计算记录
以下解释全部展开，与播放器使用同一份数据；不是另换输入的第二个算例。
1．原有大权重
先说你需要缩小的是哪本账，否则优化指标会错位。
2．LoRA
原权重仍存在；训练梯度和优化器状态可只覆盖增量参数等可训练部分。
3．量化
0.26按0.1刻度近似为0.3；如果任务对误差敏感，需要重新评估。
4．MoE
每个Token可能路由到不同专家，通信与负载也随之变化。
5．不同的账
一个方案可能同时省某本账、增加另一本账，不能用单个参数量概括。
6．实际验收
用同等任务与硬件条件比较，不能把理论字节数当实际速度。
为什么需要
训练资源和推理资源有限，但不同瓶颈需要不同方案。
怎样实现
先区分存储、求导、激活计算，再进入对应技术。
可能的代价与误解
低秩容量有限、低精度有误差、专家路由有不均衡与通信。
如何判断是否做对
分别计量峰值显存、延迟、吞吐、质量和训练可恢复性。