几十万个方向，怎么一次全算出来

把函数拆成一张图

页首那张图里的每个圆圈，都是一个大函数里的一次小运算。 乘法、加法、ReLU、平方 —— 每一个单独看都简单得不能再简单， 它们的导数更是小学水平。麻烦只在于它们套在一起。

计算图要做的事就一件：把「套在一起」摊开成「谁喂给谁」。 这样一来，每一步的导数只跟它自己的输入有关，不用去管外面套了多少层。 下面是我们这张图的全部 12 个节点 —— 每个数都能按计算器核对：

有了图，一件重要的事就成立了：前向时顺手把中间结果存下来， 反向时不用重算。图上每条边标的 ×数字，全都是前向时已经算出来的东西 （比如 w1 → z1 那条边上标的是 x1 = 2.000000）。 这就是为什么训练比推理吃显存：推理可以走一个丢一个， 训练必须把这一整张图（术语叫激活值）留着，等反向用。

• 激活值要留着：反向传播要用前向的中间结果，所以前向时算出的每一层输出 都不能丢。序列越长、层数越多，这份「账本」越大。
• 梯度自己也要存一份：每个参数一张 .grad， 和参数本身一样大。798,720 个参数就是两份账。
• 优化器还要再存：Adam 这类优化器为每个参数额外存两个状态（第 12 课细算）。 这是「全量微调要几十 G 显存」的原因，也是第 16 课 LoRA 要解决的问题。

链式法则：把导数一层层乘起来

图上有了边，导数就有了着落。链式法则只有一句话： L 对某个参数的变化率，等于从 L 走到它的路上，每一个中转站贡献的「局部变化率」全部相乘。

反向传播：从 1 往回走一遍

链式法则谁都会背，可它单独用起来是场灾难：每个参数都要把整条路重走一遍。 反向传播的两处「省」，把它从灾难变成一行代码。

现在把页首那张图只走反向那半段再看一遍。这次盯着 b 拖： 把第一层的偏置 b 从 3 拖到 −3，z1 从 1.000000 变成 -5.000000， ReLU 的门就关了。

• 死区怎么来的：ReLU 的导数是 0/1 开关。一旦某个神经元的加权和长期为负， 它的局部导数永远是 0，梯度再也传不进来 —— 这个神经元就「死」了。
• 梯度消失（另一件事）：深层网络里，每层都乘一个小于 1 的局部导数， 乘上几十层就趋近于 0。这是 Sigmoid 的老毛病，也是 ReLU 当年上位的理由； 残差连接（第 8 课）则是给梯度开了一条「直通车」。
• 怎么察觉：盯每一层的梯度范数。如果第一层的梯度长期是 0 或极小， 说明前面这几层根本没在学 —— 这是调模型时最值得先看的两个数之一 （另一个是 loss 曲线，第 12 课）。

凭什么相信它算对了

上面全是推导。推导可以错得很隐蔽 —— 一个符号写反，训练照样跑，只是怎么都学不好。 所以每一次手写反向传播，工程上都要做一件事：用最笨的办法抽查一遍。

这件事之所以成立，是因为我们选了一张小到能手算的图。 真实模型里可没有「推一把」这个选项 —— 那就是第 5 站要算的账。 梯度校验只用来给实现做体检：跑几个样本，量量每个参数的量级对不对， 对上了就关掉它去训练。

一次就够：这笔账到底差多少

把这笔账摊成一张表。前提说清楚：一次前向按 1 毫秒算 （对小模型是合理量级），反向的代价按「前向的 3 倍」估 （业界常用的粗略说法，实际取 2~3 倍）。

反过来说，这也解释了一个工程细节：反向传播既然靠前向存下的中间结果， 那么显存就是这条路的过路费。用不用得起大 batch、 能不能跑长序列，全看这份账本有多大（第 12、15 课会反复回到这里）。

最后一件小事：为什么要写 zero_grad()

框架把反向传播包装成了 loss.backward() 一行。 第一次看训练循环的人都会卡在那行 optimizer.zero_grad() 上： 为什么要把辛苦算出来的梯度清掉？

把这一课钉在墙上

学习小测验