训练，就是不停地猜数字

一台只有两个旋钮的机器

假设有 10 个同学，每人记录了两件事：每周学习几小时， 以及考试考了多少分。数据长这样：

(1 小时, 29 分)　(2 小时, 36 分)　(3 小时, 46 分) …… (10 小时, 100 分)

现在给机器一个任务：看到一个同学的学习时长，猜出他的分数。它该怎么猜？

最偷懒也最经典的办法：画一条直线。 横轴是学习时长 x，纵轴是分数 y，直线写成y = w · x + k —— 就这么两个数：

但问题来了：w 和 k 到底是多少？没人告诉我们。 那就先瞎猜一组 —— 比如「每多学一小时加 5 分，底子 40 分」， 也就是 w = 5、k = 40。下面这条橙线就是它：

记住这个结构，因为它后面一个字都不会变。 最后一课那个 76 亿参数的大模型，也只是「算式更复杂、待定的数字多了 38 亿倍」而已 ——它是这条直线的加强版，不是另一种东西。

怎么知道猜得好不好

现在我们有了一条线，可怎么判断它「猜得好不好」？ 光看一眼图不够 —— 训练需要的是一个数字， 这样才能比较「这组参数比那组好多少」。

做法很直接：把每一道题错的量加起来。 先看这 10 道题的明细（就用刚才那组 w = 5、k = 40）：

注意「差多少」那一列：有正有负。 正的说明猜高了，负的说明猜低了 —— 如果直接相加，+16 会和 −10 互相抵消，加出来只剩 31，看起来好像「猜得还不错」， 其实完全不是那么回事。

所以要先平方，把负号全变成正的：

• 把正负号抹平：不然 +16 和 −10 会互相抵消，误差看着小、其实全错。
• 狠狠惩罚离谱的错：差 10 分贡献 100，差 30 分贡献 900 —— 错得越夸张，在损失里的分量涨得越快。于是模型会先顾那些错得最狠的题。
• 后面好使：平方函数的斜率特别干净（就是 2 倍的差）， 第 4 站我们要靠它算「往哪边挪」；绝对值在 0 那个点上有个折角，不好处理。

把所有猜法排成一条曲线

损失是 w 和 k 的函数 —— 换一组参数，就有一个对应的损失。 这句话可以画成一张图：横轴是猜的参数，纵轴是这个猜测的损失。

麻烦在于参数有两个，要画得下就得先钉住一个。 这一站我们作弊一下：假设 k 已经调到了最好的值（k = 20.53），只看 w 这一个方向。 于是损失随 w 变化，画出来是一条U 形曲线：

现在把这条曲线的意思翻译一遍 —— 这是整个训练里最关键的一步：

• 曲线只有一个最低点：在 w = 7.98 处，损失 1.44。 这个点就是这批数据能给的最好答案。
• 站在谷底左边：曲线还在往下溜，斜率是负的 → 该往右挪。
• 站在谷底右边：曲线已经翘起来了，斜率是正的 → 该往左挪。
• 站在谷底：斜率约等于 0 → 不用挪了，这就是终点。

所以训练根本不需要什么聪明办法。它只要会做一件事： 感受脚下这一点的斜率，然后往低的那边挪一小步。挪完之后脚下的斜率会变，再挪一小步 —— 反复做，自然就滑到谷底了。

顺着斜率往下走

上一站说了「往低的那边挪」。现在把它写成一行公式 —— 这就是训练的全部：

k 也做一模一样的事。三个词分别是：斜率告诉你「往哪边挪」（负的就往右、正的就往左），学习率告诉你「挪多大一步」， 左边那个 ← 表示「挪完覆盖掉原来的值」。 然后重复。

拿我们的出发位置（w = 5、k = 40）手算第一步试试。 用求导算出来的两个斜率是：

学习率是训练里最要紧的一个旋钮， 因为它决定了「一步迈多大」，而这件事没有万能答案：

训练完，它学会了什么

跑完 1000 步，机器停在 w = 7.98、k = 20.54， 损失 1.44 —— 平均每道题差 1.20 分。

可我们心里有个数：这批数据背后的真规则其实是y = 8x + 20（每多学一小时加 8 分，底子 20 分）， 只是每条记录上还叠了一个 ±3 分的抖动。 机器猜出来的 7.98 和 20.54，和真规则差了一点点 —— 这不是它偷懒，是数据本身就有抖动， 任何模型都消不掉。它已经把能学的都学到了。

现在把训练完的模型拿去用。问它一个那 10 个同学里根本没出现过的时长：

整条流水线，就是这六步。它一个字都不会变。后面的十五课，全都是把这六步里的某一格放大：

左右两列一一对应。这就是为什么这门课敢从一条直线讲起 —— 你已经把整台机器的骨架摸过一遍了，剩下的都是血肉。

把这一课钉在墙上

学习小测验