附录
本规范给出 d 的构造要求,并在每一条后标明首跑的实际执行与偏离。
首跑执行:按此执行,四个相对深度,向上取整。
首跑执行:采用对置换、正交变换与各向同性缩放本身就不变的相似度度量,因而不另做显式对齐。并记一条工程教训:既然度量已有这些不变性,就不应再加一层对齐——那不会更干净,只会引入新的自由参数。
首跑执行:按此执行。并记一条改进项:本跑只保留了四层平均,未保留逐层读数,因而深度剖面不可考(第六十二章第六节)。下一跑必须保留逐层读数。
首跑执行:取各探针末位置的下一词元分布之间的对称散度。并记一条限制:只取末位置一个词元,因而”行为”被窄化为”单步预测”(第六十三章第七节)。下一跑应在单步之外加测至少一种多步行为。
此条作废。 理由见第五十五章第四条硬规定与第六十四章第四节:合成会把两个方向相反的读数按一个无理由的权重抹平,从而替作者做出裁决,且裁决不可见。
改为:两通道分别报告、分别对照各自的判负条件、分别出结论;两者不一致时结论写”未能分辨”。
此条是正确的,但首跑没有执行。
首跑实际使用:同一训练轨迹内相邻检查点之间的距离(代理,因算力所限)。
后果:该代理跨规模不可比——它测到的是训练在该规模该时刻的推进速率,而速率随规模变化。且”相邻”所含的间隔本身是一个自由参数。详见第六十五章。
下一跑必须执行:改用同种子重训,或同一轨迹内多对等距检查点距离分布的下界估计。
规定一:报告分母。 凡使用任何归一化,把分子、分母、比值三者分别列出。这一条零成本,而它能把一整类隐形错误变成可见的(第五十章第四节)。
规定二:保留逐对读数。 不只报告均值与标准差。首跑未保留,因而最大规模上那个异常大的标准差无法进一步分析。
规定三:不得用任务分数。 分数只能作为附属读数报告,用以回答”这些模型是否可比”这一前提性问题,不进入 d(第五十五章第一条)。