结语
回到开头那个角落。
美诺问苏格拉底:你怎么能去寻找你不知道的东西?若你已经知道它,就不必寻找;若你不知道它,你又凭什么认出它?
柏拉图的回答是:你其实早就知道,只是忘了。寻找不过是回忆。
这个回答统治了两千年。不是因为它令人信服——它从来都不十分令人信服,连柏拉图自己也是借一个神话把它说出来的。它统治了两千年,是因为没有人能够用任何观察把它和它的对手分开。
第一编写的是这个角落的形状,第二编写的是三道闸为什么关着,第三编写的是二十六个人各自缺哪一台装置。本书全部的工作,就是回答一个问题:那台装置到了没有。
本书给出的不是美诺问题的答案。本书给出的是那个答案的条件。
它可以这样陈述:
把寻找的过程本身放到台面上来,把它重跑一百次,每次只换走法不换材料,然后看到达的地方是不是同一处。
如果是同一处,柏拉图对。
如果不是同一处,而且这个”不是”不随你走得更久、更远、更有力而消失,那么被寻找的东西就不是一直在那里等着——它有一部分是在寻找中被做成的。
两千年里,这句话只能作为立场来主张。
现在它第一次可以作为读数来等待。
前面那句话听起来像是一个漂亮的收尾。本节要把它按住。
本书有一次读数。
首跑执行了:二十四个公开检查点,四个规模,每规模五条只在路径上不同的运行,112 条执行前冻结的探针,两个通道。
读数是:表征距离在四个规模上不向零衰减;行为距离单调下降,但在最大规模上仍是同轨迹基线的两倍以上。两个通道结论不一致。
按执行前写死的第三款规则,判”未能分辨”。
不是”倾向于支持”。不是”初步证据表明”。不是”总体而言偏向”。第六十四章用整章论证了为什么这不是弃权而是一个结论,以及为什么只报一个通道的两种写法都能成文、两种都是作弊。
而第八十章第六节又把这个结论往下修了一层:两通道的不一致,目前无法与”两把尺子量了不同的东西”区分开。首跑的三步防护只兑现了一步。
所以要把话说到底:
本书有一次读数,而那次读数判不出任何东西,并且本书知道它为什么判不出来。
最后那半句是本书唯一敢多说的一句。第六十五章、第六十六章、第八十章第五节,逐条写明了首跑为什么判不出来——规模点不够、噪声基线跨规模不可比、探针全部自造且结论对配比高度敏感。三条都具体,三条都可修,三条都已列入下一跑的清单。
把交出的东西清点一次,不多不少。
一条正面主张:在大规模语言模型的训练中,存在构成性路径依赖。
一个承重区分:计算性路径依赖与构成性路径依赖——“你还没走到”与”从这条路走过去,那里没有那个东西”。
三条条款:规模消解检验、语料可归约性、可达集不足。
四个量:路径散度、不可消解度、可归约份额、标定不可达。
六条败绩条件:第五十八章四条,第五十五章与第七十一章各补一条。
一份预注册与它的冻结值,以及全部脚本与原始读数。
一次未能分辨的首跑。
一份修订清单:六条,其中第一条是首跑自己把自己的判据证伪的产物。
一记接不住的反击:语境内的临时程序究竟是形成还是激活,本书给不出界限,并说明了为什么这一记绕开了本书换现场的全部三个理由。
六件本书不主张的事。
这就是全部。没有别的。
本书没有把这份库存写成一个结论,理由在这里说完。
一个悬置了两千年的问题,不应该被任何人用一本书宣布解决。它应该被交给一台能判它的装置,并且事先说清楚,怎样算输。
这句话里有三个部分,每一部分都对应本书的一道工序。
“交给一台装置”——对应第四编:为什么是大模型,以及为什么不是量子测量、实验演化、早期人工生命。
“能判它”——对应第五编与第六编:把形而上学命题翻成可测命题,再把可测命题变成带量、带判负条件的条款。
“事先说清楚怎样算输”——对应第七编与第九编:预注册、冻结哈希、三条防作弊纪律、六条败绩条件、以及一章专写本书接不住的那一记。
三道工序做完之后,剩下的事不归本书管。剩下的事是跑。
结语本该在这里收,但收之前要把那张清单落到实处,否则”有人按那张清单去跑第二次”就只是一句期待。
需要的不是新的哲学,也不是新的算法。 第六十六章那六条里,没有一条要求任何理论突破。逐条看它们各自卡在哪里:
卡在设备上的两条:补规模点与换基线中的第二种修法,都只需要更大的机器,不需要重新训练。首跑在单核、三吉字节内存的条件下做不了,在一台常规工作站上做得了。这两条的门槛是钱,不是本事。
几乎免费的三条:保留逐对读数、保留逐层读数、并行报告自造探针与第三方基准。这三条不增加任何前向计算,首跑没做是设计疏忽。这三条的门槛是记得做。
真正贵的一条:正式的次序可交换性实验,需要从头训练成对的次序反转模型,且组内共享条件必须严格对齐。这一条的门槛是训练预算。
按第六十六章第六节的建议:先把前两档做完,再决定第三档做不做。 前两档做完之后,首跑的三条局限解决了两条,第三条也至少被改善到可用。在那个状态下重跑一次条款一,很可能就能给出通过或判负,而不是又一次未能分辨。
还要说一句关于人的:这件事不需要一个哲学家,也不需要一个理论家。它需要一个愿意照着一份写死的预注册去跑、并且在读数不合自己心意时照登的人。本书全部的方法学工序——冻结、哈希、双通道、报告不利读数、不以趋势代极限——都是为了让这件事不依赖于跑它的人有多超然。
一个不需要超然的人也能做对的程序,比一个需要超然的人才能做对的程序,更可能被做第二次。
本书最想说的话,第五十二章已经说过一次,这里不重复。
要说的是另一句,它是首跑之后才有资格说的:
两千年里这道题判不了,缺的不是论据;今天它仍然没被判掉,缺的也不是论据。
缺的是把装置用对——而这一次,我们至少知道用错在哪里。
第一次跑没有判出来。它交出来的不是一个方向,是一张清单:换基线、补规模点、换探针、把次序可交换性做成正式实验、判据随基线一并修订、在前两条完成之前不报告不可消解度。
六条都具体。六条都不需要新的哲学。
一个两千年的问题走到这一步,已经不再需要更聪明的人来想它了。它需要的是有人按那张清单去跑第二次。
本书到此为止。