第七编 首跑
四个规模上，十对只换种子的运行之间的表征距离：
| 规模 | 路径间距离（均值 ± 标准差） | 同轨迹相邻检查点基线 | 比值 |
|---|---|---|---|
| 14M | 0.352 ± 0.087 | 0.0134 | 26.3 |
| 31M | 0.445 ± 0.148 | 0.0129 | 34.5 |
| 70M | 0.441 ± 0.117 | 0.0109 | 40.4 |
| 160M | 0.411 ± 0.206 | 0.0306 | 13.4 |
按第五十四章第五节的判据，这一列属于条款一通过的方向。
第一，它不向零衰减。 从 14M 到 31M 上升，此后基本持平：0.445、0.441、0.411。最后两个规模上有小幅下降，但下降的幅度远小于标准差，把它读成趋势是不诚实的。
先在论对路径差异的标准解释是资源不足，其经验后果是差异必须随资源增加而衰减。在这一列上，这个后果没有出现。规模增加了十倍，差异没有动。
第二，它不是标号差异。 这一点比第一点更要紧，因为如果它是标号差异，第一点就毫无价值——编号的任意性当然不会随规模衰减。
所用的表征相似度度量对神经元置换、正交变换与各向同性缩放不变。也就是说，第五十五章第二条硬规定所要求的对称性消去，在度量的构造中已经完成了。两个只有种子不同的模型，把它们的内部单元怎么重排、整体怎么旋转、怎么等比缩放，这个距离都不变。它量到的 0.41，是在这些自由度全部被抹掉之后剩下来的东西。
第三，对照很悬殊。 在最大规模上，两个只有种子不同的模型之间的距离是 0.411；而同一个模型在训练轨迹上相邻一千步的两个快照之间，距离是 0.031。前者是后者的十三倍。
这个对照的意义要说准确：它不是说两个模型”差得很远”——0.41 在一个上界为 1 的量上是什么概念，没有先验的答案。它说的是路径间的差异远大于同一路径内的正常波动。而后者正是我们能拿到的、关于”这个量的噪声水平是多少”的最直接的估计。
本书的纪律是不利读数与有利读数同等篇幅。本节写的是这一列自己的弱点，而且要写在下一章那列不利读数之前，不能等到被对手指出。
其一，标准差很大，而且在最大规模上失控。 14M 上是 0.087，160M 上是 0.206——几乎是均值的一半。十对样本上的这种离散度意味着：在 160M 这个点上，“均值是 0.411”这句话本身的不确定度相当可观。四个点里最靠右的那一个，恰恰是最不稳的那一个。
其二，比值那一列不能读成趋势。 26.3、34.5、40.4、13.4——看起来像先升后崩。但这个下降主要不是分子变的，是分母变的：分子只从 0.441 降到 0.411，分母却从 0.0109 跳到 0.0306。这是首跑暴露出的方法论缺陷，第六十五章专章处理。在那一章之前，本书只使用这张表的前两列，不使用第三列作跨规模比较。
其三，“不衰减”不等于”永不衰减”。 四个规模点，跨度一个数量级多一点。完全可能在更大规模上它开始下降。这一列排除不了这件事，也不打算排除——第五十四章第四节的整节内容就是在说，趋势不是极限，而这条纪律对本书自己同样有效。一列在有限区间内持平的数，与一列最终衰减到零的数，在这个区间内长得一模一样。
其四，它只是表征。 表征距离量的是模型内部状态的差异。第九编第七十七章要处理的那一记反击正是冲着这里来的：内部表征不同，不等于知识不同；也许两个模型只是用不同的内部坐标记录了同一批内容，而”不同的坐标”恰恰应当被算作标号。
对这一记，本章只回答半句，剩下半句留给第七十七章：所用度量已经消去了三类已知的坐标自由度——置换、正交、缩放。因此这一记反击若要成立，必须指出一类此前未被消去的对称性。这不是一个空头要求，它是可以被满足的；而一旦被满足，按第五十五章第二节末尾写下的那条额外败绩条件，条款一判负。
上面反复用到 0.41 这个数，现在必须回答一个不能绕的问题：0.41 在一个上界为 1 的量上，算大还是算小？
诚实的回答是：本书不知道，而且这不是本书的疏忽，是这类量的固有处境。
这个距离由”1 减去相似度”构成，它的两端有明确含义——0 表示在该度量下完全一致，1 表示完全无关。但中间的取值没有一把外部的尺子。0.41 不像”差了 41 个百分点”那样可以直接解释，它只是一个落在区间中段的数。
这正是预注册里要用比值而不是绝对距离的原因：绝对距离的整体尺度是度量的自由度，换一个相似度定义，全部数字会同比例地变，而比值不会。用同一路径内的相邻检查点作分母，等于说：“我们不知道 0.41 有多大，但我们知道同一条路上走一千步只变 0.03。”这句话是有信息量的，而”0.41 很大”这句话没有。
麻烦在于，这个分母在最大规模上失控了——第三节第二点已经指出，第六十五章专章处理。分母一旦不可靠，“0.41 有多大”这个问题就重新变成无解。
因此本章只能停在一个受限的陈述上，而这个陈述要原样写出来，不做任何加强：
在每一个规模内部，路径间的表征距离都远大于同一路径内相邻检查点的距离；跨规模的比较，本跑给不出。
这个陈述比”表征差异不随规模衰减”弱。后者用的是绝对读数那一列（0.352、0.445、0.441、0.411），它不经过分母，因此仍然成立。两句话的强度不同、依据不同，不要混用。
四个规模上的标准差：0.087、0.148、0.117、0.206。
最后一个数字几乎是均值的一半。在十对样本上出现这种离散度，至少有三种可能的解释，而本跑无法在它们之间做出区分。
解释一：十对样本不够。 十对来自五个种子，而这十对并不独立——同一个种子出现在四对里。有效样本量比十小，标准差本身的不确定度因此相当大。
解释二：大模型之间的差异本来就更参差。 有可能在较大规模上，不同路径的分化方式变多了：某些种子对之间很接近，某些很远。若如此，这个膨胀本身就是一条支持本书的读数——它意味着路径差异不仅没消失，还变得更结构化了。
解释三：度量在大模型上不稳。 相似度的估计依赖于采样的位置数与表示的维度，两者在不同规模上并不同比例变化。这可能引入规模相关的估计噪声。
本书不在这三者之间选。 三种解释都能容纳这个数字，而区分它们需要的东西本跑没有：更多种子、逐对读数的分布、以及在同一规模上对度量本身做的标定。
写下这一节的理由是：解释二对本书有利，而在没有材料区分三者的情况下选用它，正是第六十四章要批评的那类做法。把一个不确定的数字解释成对自己有利的证据，与把它略去不报，是同一种错误的两个方向。
这一处也进下一跑清单：报告逐对距离的完整分布，而不只是均值与标准差。 这件事不增加任何计算成本，本跑没有做，是设计时的疏忽。
表征距离是在四个相对深度上各算一次，然后取平均。这个做法本身没有错——它使不同规模的模型可比，这正是用相对深度而非绝对层号的理由。
但平均掩盖了一样可能很重要的东西：深度剖面。
两个模型之间的差异在浅层大还是深层大，是一个有实质含义的问题。若差异主要在浅层，一种自然的解读是它来自输入端的表面编码，随着深度推进被逐渐消化掉——那更像标号。若差异在深层同样大甚至更大，解读就完全不同：越靠近输出的地方分歧越深，意味着两个模型对同一批内容组织出了不同的高层结构。
这两种情形在本跑的读数里长得一模一样，因为它们被平均成了同一个数。
本跑没有保留逐层读数，这是设计时的疏忽而不是取舍——保留它不增加任何计算成本，只是当初没有想到要用。这一条与第六十章第八节所列的”逐对读数未保留”属于同一类损失：为了报告一个简洁的量，把生成它的那批更丰富的数扔掉了。
因此下一跑清单里要加一条：报告逐层读数，而不只是四层平均。 同时，深度剖面本身应当被写成一个独立的观察项——它有可能给第九编第七十七章那一记反击（“这只是表征的形成，不是知识的形成”）提供正面材料，也有可能给它提供弹药。两种都有价值，而本跑一种也没给出。
这一节的存在本身说明了一件事：首跑真正的产出不是那四个数字，是它让人看清了应该记录什么。
如果本书只报这一章，它会是一份很好看的材料：路径差异在消去三类对称性之后仍然存在，且在一个数量级的规模跨度上不衰减，是同轨迹噪声的十几倍到四十倍。这足以写成一篇有说服力的文章。
本书不这样做，理由有三个层次。
最表层的理由：下一章的读数方向相反，而预注册要求两个通道同等篇幅。
中间一层的理由：这一列本身有上一节那四处弱点，其中第二处足以让第三列作废。一份材料如果只在挑出来的那一列上成立，它的成立就不是关于对象的，是关于挑选的。
最深一层的理由，也是本书真正在意的那一条：只报一个通道不是省略，是构造结论。 同一次实验里有两个读数口，它们给出了不同的方向；选一个报出来，等于让读者相信实验给出了一个方向。这比数据造假更难被发现，因为每一个数字都是真的。
第六十四章会把这件事讲完。在那之前，先看另一列。