第六编 三条款
假设条款一通过了：路径差异不随规模衰减，κ 是一个正数。
这对先在论构成致命打击吗？不。它还有一记极硬的反击，而且这一记比条款一要处理的那一记硬得多。它的完整形式是这样的：
差异不消失，不等于路径进入了规定。那些不同的结果，可能全都落在一个由材料、装置、判准事先确定的集合里。损失景观的全部局部极小，在第一步梯度落下之前就已经由数据与架构完全决定；训练走到哪一个，是路径的事，但有哪些可以走到，仍然是先在的。
这一记的力量在于它完全承认了条款一的读数，却把读数的意义拿走了。路径被降格为一个选择器——它在一份先定的清单上挑了一项，而清单不是它写的。选择器不是构成者。在这个图景里，先在论毫发无伤，而且它甚至可以大方地接受 κ > 0：当然会有一个正的常数，因为清单上有不止一项。
这一记反击在哲学上的完整形态由第九编第七十五章处理，那是本书要接的最硬的一记。这里处理它的经验形态。
条款二的做法很简单，简单到近乎不客气：
请把那个先在的集合写出来。
说结果 R 对语料可归约，意思是：存在一个只以 C、A、L 为自变量的描述 Φ，使得 R 可以被写成 Φ 的一个成员或一个近似。
这里的关键限定是”只以 C、A、L 为自变量”。Φ 里不许出现路径。一旦 Φ 的表述中需要提到”从哪里出发”“按什么次序走”，那它就不是先在的描述，而是把路径偷渡进了规定——而这正是造成论的主张。
这个要求听起来抽象，但在本现场它有三种可操作的具体形式。三种形式各自可判，各自有判负条件，不必同时满足：任何一种成立，条款二判负。
这是三种形式里最成熟的一种，也是先在论的强读数，必须写足。
若不同路径得到的两个解，在消去神经元置换这一对称性之后，可以被一条损失不升高的路径连起来，那么它们就属于同一个盆地。同一个盆地里的两个点，可以被”该盆地的极小点集合”这一描述统一归结，而这个集合确实只由数据与架构决定。此时路径的作用确实就是选择器。
这一线工作已经积累了相当扎实的证据：不同种子训练出的解，在适当的对齐之后往往表现得像同一个盆地里的两个点。本书对此的态度与对表征收敛的态度一致——不质疑这些实验，只问它的极限行为。
条款二对形式一的要求：在条款一测出正读数的那些规模上，逐对检查对齐后的连通性，并报告连通率随规模的变化。
判负条件：若连通率随规模上升并趋于一，条款二判负。
这条判负条件要求的东西对本书极不利，而这正是它值得写的原因。若对手在一个足够大的规模跨度上把连通率推到接近一，本书在这一现场输掉，而且输得干净。
需要说清一处边界。连通率高不等于两个解相同——一条低损失路径把两点连起来，说明它们在损失景观上属于同一片区域，不说明它们在行为上等价。第八编第七十一章会处理这条边界：标号差异与实质差异的界线到底划在哪里，是本案在工程层面上的最终形式。 本章在此只记一句：本书接受”同盆地”作为可归约的充分证据，但不接受”低损失路径存在”自动等同于”行为等价”。
若结果之间的差异可以由语料的统计量预测——n 元分布、主题分布、子集覆盖、某类内容在语料中的出现位置与频次——那么差异虽然真实存在，却仍然是语料的函数。此时 Φ 就是那个回归函数，路径仍然只是选择器。
操作方式：用语料统计量对路径间结果差异做回归，报告可解释方差。定义可归约份额：
ρ = 路径间结果差异中，可由 C、A、L 的量预测的方差份额
判据：
ρ 显著接近 1，条款二判负——差异是语料的函数，先在论成立。1 − ρ 有稳定的正剩余，且不随规模上升，条款二通过。那个剩余就是路径不可消去的经验形态。
为什么要给出 ρ，而不是只给出”通过／不通过”。 因为本书预期真实的读数落在中间，而且中间偏向对手那一侧。绝大部分差异很可能确实可归约——这符合一个常识：这些模型确实在学同一批世界内容，它们之间相像的地方远多于不像的地方。争的从来不是主体，是那个剩余。
判决不需要 ρ 小，只需要 1 − ρ 不趋于零。 这句话要写在前面，它有两个作用：防止事后把一个小剩余描述成胜利，也防止把一个大主体描述成失败。两种事后描述在这一领域都发生过。
这是本书认为最锋利的一种形式，而且此前未被这样使用过。
论证如下。若路径只是选择器，那么次序就是路径变量的最纯形式——先学 a 再学 b与先学 b 再学 a，材料完全相同，是同一个集合，只是呈现顺序不同。既然”材料决定结果”，那么在充分训练之后，两次训练应当收敛到可交换的结果。
反过来说：
若存在某类内容，其次序反转所造成的差异不随训练时长与规模衰减，那么”材料决定结果”这句话就在字面上被证伪了——因为两次训练的材料是同一个集合。
这一记的锋利之处在于它不需要讨论”什么算实质差异”这种容易陷进去的问题。它只需要一个反例：同一堆材料，两种顺序，结果不同且差异不消失。
实验规格。 这一条不能只写到”可判断”为止，必须写到别人照着就能跑，否则它就只是一个漂亮的想法。规格如下：
其一，反转什么。构造成对的语料次序：同一份语料切成若干段，两个版本只在段的先后次序上不同，词元总数、重复次数、混合比例全部逐位对齐。次序反转必须是完整反转或预先指定的置换，不允许在执行中调整。
其二，控制什么。这一处是首跑栽过的地方，必须写死：组内共享条件要对齐。 若比较”只换次序”与”只换初始化”两组的效应，则两组的对内条件必须同构——不能一组共享初始化而另一组共享次序，否则三组的对内相似度本来就不在同一条件下，任何比较都被混淆。
其三，跑多久算充分。事先指定一个收敛判据，而不是事后看图。建议采用：验证损失在预定窗口内变化低于预定阈值，且该判据对两个版本同时适用；窗口与阈值列入冻结项。
其四，测什么。仍用第五十五章规定的组合距离——消去对称性之后的表征距离，加上分布外探针上的行为距离。不得改用分数。
判负条件：次序反转造成的差异随训练时长与规模衰减至噪声水平，条款二形式三判负。
条款二未跑。本章不报告 ρ，也不报告连通率。
但有一条探索性读数与形式三直接相关，必须在这里摆出来，同时必须连同它的全部弱点一起摆。
首跑所用的那组公开检查点，另有两组在单一规模上的消融：一组固定权重初始化、只换数据次序，一组固定数据次序、只换初始化。这恰好是形式三所需要的材料，顺手测了。读数如下：两者都换的行为距离是 0.116，只换数据次序是 0.138，只换初始化是 0.118，同一轨迹内相邻检查点的基线是 0.049。
值得记下的一点是：只换数据次序所造成的行为差异，不小于两者都换，并且是基线的 2.8 倍。 材料是同一个集合，判准相同，架构相同，权重初始化相同——只有呈现顺序不同。这是”材料决定结果”这句话在行为层面上第一次被直接顶了一下。
现在写它的弱点，而且要写足。
其一，样本量是 3 对。 三对样本不支持任何统计推断，标准差也几乎没有意义。
其二，三组的对内共享条件不齐。 只换次序那一组的三个模型共享同一个权重初始化；只换初始化那一组共享同一个数据次序；而两者都换那一组两样都不共享。三组的对内相似度本来就不在同一条件下，因此三组之间的任何比较——包括表征通道上那个看起来很强的超加性——都被这一处混淆污染。超加性不能当结论，它的正确位置是下一跑的预注册项。这正是上一节实验规格第二条的来处：这条规格是从首跑的教训里长出来的。
其三，它只是顶了一下，仅此而已。 不得把这个 0.138 写成”材料决定结果已被证伪”。证伪那句话需要的是形式三的完整实验：次序反转对、控制对齐、收敛判据、跨规模。以上一件都没有。
这三条弱点写完，那条读数还剩下什么？剩下一件：它把形式三从一个漂亮的想法，变成了一个值得花钱去跑的实验。 这是探索性读数在本书中被允许扮演的唯一角色。
下一章处理最强、也最贵的一条。