附录
本书全部的量集中在这里。每一个量给出记号、名称、定义、两侧的预测,以及它的现状。
| 记号 | 名称 | 定义 | 先在论预测 | 造成论预测 | 现状 |
|---|---|---|---|---|---|
| Δ(N) | 路径散度 | 规模 N 处,只在路径上不同的运行之间的结果距离期望 | 随 N 衰减至噪声 | 衰减至正常数 | 首跑已测,四个规模点 |
| κ | 不可消解度 | Δ(N) 的极限(有限规模下由衰减律外推) | κ = 0 | κ > 0 | 未报告 |
| ρ | 可归约份额 | 路径间结果差异中,可由语料、架构、判准的量预测的方差份额 | ρ → 1 | 1 − ρ 稳定为正 | 未跑 |
| — | 对齐后连通率 | 消去置换后,成对解之间线性模式连通的比例 | → 1 | 不趋于 1 | 未跑 |
| — | 标定不可达 | 性质 Q 在路径族 P₁ 中出现率 > q,在 P₂ 中十倍预算下 < q′ | 不存在 | 存在 | 未跑 |
| k | 先在性生效时点 | 子网络对随机梯度噪声变得稳定的训练步数 | 随规模趋于零 | 稳定为正或增大 | 未跑,新增候选 |
关于 κ 的一条纪律,写在这里以免被漏读:本书全书不出现 κ 的任何数值。首跑的四个规模点不支持外推,而第六十六章第五节规定:在换基线与补规模点两条完成之前,下一跑也不应报告它。
关于最后一行:先在性生效时点 k 不在原三条条款之内,它是第七十章第七节从彩票假说的修复史里逼出来的新检验,已列为下一跑的预注册候选。它在这里列出,是为了与其余五个量一并接受同一套纪律——没有读数就标明没有读数。
六个量不是平行的,它们之间有依赖,而依赖决定了跑的顺序。
Δ(N) → κ:κ 是 Δ 的极限,因此必须先有一列 Δ 才谈得上 κ。而”一列”要多长,由第六十九章第二节那四条决定——跨度必须让窗口右端进入待区分的量级。首跑只有四个点,因此有 Δ 无 κ。
κ → ρ:条款二是在条款一通过之后才有意义的。若差异本来就趋于零,“剩下的差异能否被语料写出来”这个问题没有对象。因此 ρ 的测量应当排在 κ 之后。
ρ → 标定不可达:条款三最贵,且若前两条任一判负,它不必跑(第五十七章第六节)。
k 与前五个都正交:先在性生效时点不依赖三条条款中的任何一条,它可以独立测,而且它是六个量里唯一一个测”时间”而不测”差异”的。这也是它被单列为下一跑预注册候选的理由。
由此得到读数顺序,它与第六十六章那份清单一致:
换基线 → 补规模点 → 重测 Δ 并首次报告 κ → 若通过,测 ρ 与连通率 → 若通过,才考虑标定不可达。k 可在任一阶段并行。
最后一条纪律:任何一步未完成而报告下一步的量,都属于第五十章第二处陷阱(事后定义)的变体——它把一个尚未取得资格的读数提前计入账目。