模型还没训
钱包先装不下

先算清账：一个参数身上挂着 16 个字节

你可能听过一句话：「7B 的模型全量微调要一百多 GB」。 一百多是多多少？为什么不是「7B × 2 字节 = 14 GB」？ 因为训练时的参数，身上不止挂着它自己。 下面这张表把每一样东西点出来 —— 一行一行加起来，正好是那个 16。

• 训练显存 ≈ 参数量 × 16 字节（混合精度 + AdamW 那一套）。 面试里让你「估一下 7B 微调要多少显存」，答的就是这个乘法的量级。
• 推理显存 ≈ 参数量 × 每个参数字节数：fp16 是 2、int8 是 1、NF4 是 0.5625。所以「7B 要 14 GB」说的是推理， 而「7B 要一百多 GB」说的是全量微调 —— 这两句话经常被人混在一起说。
• 推理显存要留余量：KV cache（第 9 课那个）会随上下文长度线性涨， 还有框架自身的开销。所以「一张 16 G 卡跑 7B」是能跑，但上下文不能太长。
• 估参数量本身：第 8 课那本账（注意力 + FFN + 嵌入 + 输出层）。 记住 FFN 是大头（在一层里大约占三分之二的参数）， 这个结论在所有规模上都成立 —— 所以第 8 课那个「FFN 放大 4 倍」的超参 直接决定模型有多大。

第一把刀 · 量化：把 16 位压到 4 位

第一个念头很自然：既然那 14 个字节省不掉，那把每个字节本身变小行不行？ fp16 用 16 个比特存一个权重 —— 可权重真有那么精细吗？ 真实权重是训练出来的一堆小数，它们大部分挤在 0 附近， 真正需要「高精度」的地方其实很有限。 于是有了量化：不再记录精确的数，只记录「它离哪个档位最近」。 代价是误差，问题是误差有多大。

• 为什么是 4 位而不是 8 位或 2 位：8 位省得不够（还不如直接用 fp16 权重）； 2 位误差太大、模型会明显变笨。4 位正好落在「省得多 + 还不明显掉分」的位置上。
• NF4 的「NF」是 Normal Float：档位按标准正态分布的分位数切， 所以中间密、两头疏。而且它刻意不对称 —— 负侧 7 档、0 一档、正侧 8 档（正侧多一格）。 原因还是那句话：把有限的格子放在「有数据的地方」—— 正侧多一格，是因为按分位数切的时候，要让两端的极值也落在格子上。
• 分块缩放（block-wise scale）：每 64 个参数共用一个 fp32 缩放因子， 于是每个参数平均占 4.5 位 = 0.5625 字节。 「共用」的代价是块内会被最大的那个数带着走， 所以工程上块越小越准（但存的缩放因子也越多）。Qwen 用的是 64 或 128 的块。
• 量化分两种时机：训练后量化（PTQ，模型训好了再压，简单、但可能掉分）和 量化感知训练（QAT，训练时就把量化误差算进去，效果更好、更贵）。 QLoRA 属于前者 —— 它在 4 位的基座上微调，靠 LoRA 那部分来补回精度。

第二把刀 · LoRA：只训练一小撮外挂参数

量化砍的是「每个参数占几个字节」。可回过头看第 1 站那张表， 会不会发现一件事：那 14 个字节里，绝大部分根本不是权重本身—— 是梯度、是优化器状态。既然模型本身只要 2 个字节就够， 那能不能干脆让绝大多数参数连梯度都不要？ LoRA 就是这么干的：把原权重冻住，在它旁边挂一对小矩阵， 只训这一对。算下来，可训练的参数量是 0.1% 这个量级。

• 挂在哪些层：最常见是注意力的四个投影（Q、K、V、O）， 这里的账就是「层数 × 4 × r × 2d」。 讲究一点的会连 FFN 一起挂 —— 挂得越广、可训练参数越多、越接近全量微调。
• 秩 r 与 α 的关系：前向是 W + (α/r)·B·A， 所以真正的缩放系数是 α/r。改 r 的时候一般要同步改 α， 否则等于偷偷改了学习率 —— 这是调 LoRA 时最常见的坑。
• 训练时省、推理时不亏：训练完把 (α/r)·B·A 合并进 W， 推理路径和原来完全一样。所以 LoRA 不会让推理变慢， 也让「一个基座 + N 个几 MB 的适配器」成为可能。
• QLoRA = 4 位基座 + LoRA：两把刀砍两笔账，所以能叠。 代价是 4 位基座的量化误差要靠 LoRA 补回来 —— 实践上补得挺好。
• 常见变体：DoRA（把方向和大小的更新拆开）、rsLoRA（改缩放为 α/√r）、GQA/MQA（那是结构层面的省，第 7 课）。 面试答出 QLoRA 和 rsLoRA 两个就够有深度了。

把这一课钉在墙上

学习小测验