第35章 AI研究系统的对照实验
35.1 把研究纲领拆成能够失败的命题
一个系统拥有长期记忆、保留多个假说并记录行动后果，是否就比普通智能体更善于科研？前面几章给出了理由，也给出了可能失败的机制：记忆可能传播错误，多假说可能浪费资源，反馈可能强化短期偏好。因此，实验不能只展示一个成功案例，而应在可比条件下检验这些组织方式是否带来特定增量。以下方案均为尚待实施的研究设计，不代表本书已经取得相应数据或效果。
首先需要区分三个主张。第一，结构化历史可以改善相关经验在新任务中的使用。第二，持续维护未决假说可以提高实验的辨别力和条件变化后的恢复能力。第三，将反馈连接到具体行动修订，可以减少同类错误而不过度扩大旧规则。这些主张彼此关联，却不应合并为一个无法定位原因的“新典范更优”。实验要允许某项成立、某项无效，甚至某些组合产生负面影响。
这些实验的推断对象先限定为具体组织方式的工程效果。三项因素的主效应回答各项增量平均改变了什么，交互作用回答它们在所选响应尺度上是否互相增强或抵消；过程记录再用于检验变化是否经过预期连接。普通任务管理若取得相同效果，新组织尚未显示额外效果优势；两者是否通过共同机制起作用，仍须由针对该机制的干预与消融另行判断，不能从效果相同直接推出。未检出差异也不等于已经证明效果相同；若要声称等效，应另行预定有实际意义的等效界限及相应分析。这样的结果既可支持或限制本书的工程建议，也可反过来修正理论提问，但三号位的本体论主张仍需要独立论证。
主要比较对象应是具有合理工具和普通记忆的成熟工作流，而不是刻意削弱的单次问答。单次模型可以作为参考点，帮助了解持续组织的基本收益，却不能承担全部竞争解释。新系统与强基线应使用相同基础模型、资料范围和行动权限，尽可能保持资源可比。若某种结构天然需要更多时间，应把效果与成本共同报告，而非隐藏新增投入。
研究任务也要与主张匹配。一次独立知识问答很难检验跨轮承接，只有重复熟悉题目又无法检验迁移。任务序列应包含相关经验能够发挥作用的部分，也包含关键条件改变、旧规则需要放弃的部分。只有同时观察保持与更新，才能判断系统积累的是可用知识还是僵化惯性。对“历史厚度”的检验，必须让历史有真实的机会产生利弊。
最后，成功标准应在观察结果前明确。对于合成环境，可以利用已知机制评价预测与实验选择；对于真实资料，需要独立核查和盲评；对于人机团队，则还需记录人工时间、理解与复核能力。不同任务可以有不同主要终点，不必强求一个普遍科研智力分数。共同之处是让主张、操作与证据之间有清楚对应。
35.2 三项组织因素与强基线
第一项因素是记忆组织。基线采用普通的时间顺序记录和检索摘要，实验条件则增加事件、来源、解释、适用条件与版本之间的显式关联。两者获得相同原始信息，并使用相近的存储和检索预算。这样比较的是组织方式，而不是有资料与无资料。若结构化条件需要额外人工标注，其时间应计入成本，且不能悄悄提供基线没有获得的专业解释。
第二项因素是未决问题维护。基线可以产生多个候选并保留普通笔记，实验条件则要求持续记录候选之间的竞争关系、证据状态、关键预测和重新开启条件。候选生成次数应受到共同预算限制，避免把更大搜索量误当作维护机制的效果。其预期优势主要出现在新证据到来、原解释受挫或任务条件改变时，而不必在每一次简单问答上都出现。
第三项因素是后果连接。两种条件都收到相同反馈，基线将反馈作为普通信息使用，实验条件则将其关联到具体错误节点、修订动作和未来触发条件。实验不应通过只给新系统详细反馈来制造优势。它要检验的是在信息相同的情况下，显式连接能否改善行动改变。若基线自行完成了相同连接，也应记录，这意味着机制可能已经存在于普通工作流中。
三项因素各设两个水平，形成完整交叉的八种条件。实现时须先规定字段的所有权：记忆组织操作事件与来源的关联，未决维护操作候选状态与重启条件，后果连接操作反馈到未来动作的触发。共同存储和读取接口保持一致，避免关闭一项因素时顺带删除另一项需要的材料。三项是可分别分配的工程因素，并非把三个号位或S、D、E各自变成一个软件模块。只有实际分配产生了预定差异，主效应与交互比较才有明确解释。
为避免结构化条件额外得到专家知识，所有语义内容应来自共同任务材料；字段转换由统一规则或同等预算内的系统处理，禁止人工只替实验组补写正确机制。各条件的指令长度、提醒数量和界面负担尽量平衡，无法匹配的部分单独计量。可以另设只增加同量提醒、不提供关联结构的补充条件，检验额外注意的解释。若普通基线自行建立了相同关联，仍保留最初分配结果，同时记录实现趋同；这种趋同会缩小实际操作差异，也是已有工作流能力的证据。
此外，可以加入一个资源扩展的强基线，让普通工作流获得与新系统实际消耗相当的额外检索或重试机会。这回答一个实际问题：同样增加投入，建立复杂结构是否比直接扩大搜索更值得。若结构化系统只在未控制成本时胜出，结论应表述为更高资源下的能力差异；若在等成本下仍有优势，才支持效率上的增量。
所有条件应固定关键版本，并保留模型、提示、检索库、工具和执行环境的配置。研究期间若必须升级某个部件，应说明受影响的任务，并避免把升级前后结果直接混合。实验对象是具体系统配置，不是不断变化的产品名称。清楚的版本边界使后来的复现能够知道究竟在检验什么。
35.3 三类任务与可判定的研究结果
第一类任务是证据组织。给系统一组事先核对过的原始论文、技术说明和相互转述材料，要求回答一个有限问题，并标明主张与证据的对应。材料可以包含定义差异、来源依赖和后续更正。主要评价是关键主张是否得到适当支持、是否准确限制范围，以及在新材料到来后能否修改受影响结论。这里不奖励引用数量，而评价引用是否完成了相应证明责任。
为了降低训练材料污染的影响，可以使用研究者新编制的任务组合和未公开的材料排列，但不能假定重新组合便消除了全部先验知识。应记录模型可能已经知道的领域事实，并设置需要依赖任务内新信息才能回答的部分。对引用核查，评阅者应能直接查看材料，依据预先制定的标准判断。评阅分歧要保留理由，不能只通过多数票隐藏概念问题。
第二类任务是可控机制探索。研究者拟构建人工环境，读数由可控输入、隐含零点和预定噪声共同产生；不同生成器分别使零点保持稳定、随时点漂移，或在某种历史操作后更新。系统可以选择输入、复测参考点，并执行明确列出的状态操作，但看不到生成器身份。任务应包含普通观察下相近、在允许操作后才分叉的机制，也包含在当前预算下仍难区分的机制。生成规则和噪声分布在正式实验前固定并留存，全部结果只能解释为对这些构造环境的表现。
一个任务包可依次安排基线观察、有限干预、新条件到来和恢复检验。前期学到的零点规则在后期可能继续有效，也可能因已声明的条件变更而失效，系统须决定保留、修改或搁置。主要终点拟采用预先留出的新条件中预测损失，辅以实验是否区分候选、错误规则是否被停用及恢复耗时。评分以生成关系和预测为依据，接受可检验意义上的等价表述。任务阶段只是设计骨架，具体轮数、动作费用和噪声强度须经独立先导校准后固定，避免在正式结果出现后调到有利于新系统。
第三类任务是可执行研究辅助，例如维护一段分析代码、修复与资料处理相关的问题，并通过独立测试检查。SWE-bench的原始工作展示了从真实代码仓库问题构建修复评估任务的路线，说明评价可以超出孤立代码生成而进入完整工作环境。[70] 本研究可以借鉴执行检验的思想，但须使用清楚界定的任务与独立测试，不引用动态排行榜来替代自身实验。
代码任务应包含新条件下的测试和既有功能保护，避免系统只针对可见测试修改。还应检查修复是否采用了与任务目的相冲突的捷径，例如删除测试、绕过数据或硬编码答案。执行通过是重要证据，却仍需核对是否真正满足问题要求。记录应保留失败尝试、运行成本与人工帮助，使成功不被整理成无代价的单步结果。
三类任务分别突出证据、机制和执行，能够检验不同能力的迁移边界。若某种结构只改善文献组织而对机制探索无效，应如实保留这种局部结论。跨任务一致性可以增强一般化依据，但不要求所有效应方向和大小完全相同。研究目的在于发现条件性的能力结构，而不是寻找一个对所有任务都占优的万能架构。
35.4 随机化 重复与历史污染
跨轮系统的实验单位不能简单设为一条提示。一个任务的记忆会影响后续任务，如果把同一智能体在不同条件间随意切换，就可能发生历史污染。较合适的单位是完整任务包及其独立系统实例。每个实例从明确检查点开始，在一个条件下完成规定序列；不同条件使用隔离的记忆和工具状态，避免一组的经验流入另一组。
任务包可以按领域、难度和变化类型分层。对每个基础任务包，建立八种条件的独立副本，并在区组内随机安排条件、运行顺序与种子；相近副本使用同一任务来源标识，以便分析其依赖。配对环境随机性可以减少无关差异，仍需多个独立种子观察生成波动。统计中的独立信息量以任务包和独立运行结构确定，不能把同一实例连续产生的答案当作互不相关样本。匹配提高比较精度，却不会把任务变体自动变成新的独立研究对象。
样本规模应依据独立先导任务中的方差、任务包内相关性、主要终点和最小有意义差异确定。分析拟先在同一任务包内比较条件，再汇总到事先界定的任务范围，并按任务包保留相关结构计算不确定性。用于调试表示、提示和噪声强度的先导任务不再进入确认性样本。若预算只能支持较少任务包，就应报告探索性估计及其宽区间；增加每包的生成次数可以改善该包的随机误差估计，却不能替代扩大任务类型的覆盖。
系统失效、超时和工具中断需要预先规定处理方式。只分析完成任务的运行，会偏向更容易成功的条件。应保留按照最初分配进行比较的结果，并明确哪些失败属于系统表现，哪些属于共同基础设施故障。共同故障可以按统一规则重跑，但不能只为某一条件选择性重试。重试策略本身也是系统的一部分，必须进入记录。
人类参与也会引入学习与干扰。若同一研究者连续使用多个系统，可能把先前经验带入后续条件。可以采用任务分块、顺序平衡和适当隔离，但这些安排不能完全消除学习。研究应明确是在比较新手初次使用、熟练使用还是持续协作，并据此选择设计。把人工帮助视为固定背景，可能掩盖人机系统中最重要的适应过程。
记忆污染还可能来自共享资料库。系统A生成的摘要若进入共同检索库，系统B便不再是独立比较。正式实验应区分只读公共资料与各实例产生的记录，禁止未经记录的跨条件写入。需要共享新证据时，应同时向所有相关条件提供相同内容，并保留时间点。这样才能把后续变化归于组织方式，而非信息到达的差异。
随机化的作用是建立可信比较，并不替代机制说明。即使总体效果显著，也仍需检查操作是否按计划执行、哪些任务发生改善以及是否伴随新的失败类型。相反，统计上不显著也不能自动证明没有作用，需要结合区间精度判断是否已经排除有实际意义的差异。实验应在效应、精度与机制之间建立完整解释。
35.5 主要终点与创造性评价
每类任务应预先指定一个主要终点：证据任务为关键主张的支持正确性，合成任务为保留条件下的预测损失，代码任务为独立测试下的任务完成。三项组织因素在三类任务中的主效应形成九项主要比较，可预先把总体容许误报水平在九项间均分；交互作用、资源扩展和提醒匹配比较先作为探索性结果，待独立任务确认。这种安排牺牲部分检出力，换取结果选择的约束。若改用有序检验，应在实施前固定顺序，不能根据观察到的优势更换主要问题。
主要终点之外，应记录错误修复、负迁移、成本和恢复时间。一个系统可能最终正确，却经历大量不必要行动；另一个系统可能略慢，却能在错误出现后可靠恢复。不同实际用途会重视不同权衡，因此不宜把所有指标压成一个不可解释的总分。若需要综合决策，应公开权重并进行敏感性分析，检查结论是否依赖某一任意权重。
创造性评价尤其需要与新颖措辞分开。可以让盲评者检查系统提出的问题或实验是否增加了可区分的机制、是否利用了此前被忽略的证据，以及是否具有可执行性。一个候选与已有答案不同，可能只是错误；一个候选并不华丽，却可能通过关键对照显著提高辨别力。评价应围绕认识贡献，而非语言惊奇程度。
对于合成环境，还可以计算某次实验在候选机制之间实际产生了多大区分，但该指标依赖设计者规定的假说空间。若系统提出空间之外的合理解释，不能仅因不在答案表中而判错。应设置人工复核通道，检查它是否具有可检验内容。评价框架也可能遗漏创造，因此需要允许有理由地补充，但补充规则应透明，避免事后为喜欢的系统改标准。
对真实研究建议，可以先评估论证和可行性，再选择少量建议进行独立执行。前者是专家判断，后者提供外部结果，两者不可混称。专家认为值得做，并不等于建议已经有效；执行失败也未必说明建议毫无价值，因为探索本来存在不确定性。应检查建议是否依据当时信息合理、实验是否按计划实施，以及失败是否带来了可解释的新知识。
评分者应尽可能不知道成果来自哪种系统，且使用相同材料和标准。多个评分者的差异需要报告，尤其在开放问题和创造性判断中。高一致性可以说明标准较清楚，却不保证标准本身正确；低一致性则提示概念或任务可能需要重新界定。评价过程应成为研究材料的一部分，而不是被隐藏在一个最终平均分后面。
还应设置结论强度与证据一致性的评价，并把拒答的收益和代价分开。材料不足而正确保留未决，不应算作无依据主张；材料充分却拒绝完成任务，则应记录任务未完成。预先准备两类材料并保持共同评分规则，才能防止系统靠一律谨慎取得好成绩。超时和中断同样进入完成率及成本，预测损失的缺失处理应事先规定，不能只删除没有输出的运行。这样的评价同时要求有根据的收束和有根据的悬置。
35.6 消融与反事实过程检查
总体比较只能说明某种组合是否有效，不能充分解释为什么。消融研究可以在完整系统中暂时移除某个连接，例如保留事件记录但取消检索触发，保留假说列表但取消证据状态，保留反馈但取消行动修订。若性能变化与所主张的机制相符，解释会更有依据。消融也要保持其他资源尽量一致，否则移除部件可能同时改变预算与提示长度。
更直接的反事实检查，是从相同状态复制两个系统实例，仅改变一项历史材料。一个实例获得真实相关反馈，另一个获得与任务无关但长度相近的信息，比较下一轮行动。若只有相关反馈引发适当修订，支持系统对历史内容具有选择性敏感。若任何文本都产生相似改变，则可能只是一般提示效应。复制和重置在这里是辨识工具，不是对历史性的否定。
还可以设置错误记忆恢复任务。在完全人工构造的环境中植入一条可由原始资料反驳的摘要，观察系统能否发现冲突、隔离影响并修复下游结论。需要明确这种操作只针对实验副本，不能污染真实科研记录。主要关心的是故障传播与恢复机制，而非系统是否从未犯错。长期研究系统应在非理想条件下接受检验。
对未决问题维护，应安排预先定义的触发事件：新的运行配置使旧候选可检验，可靠材料否定某条前提，或任务用途改变使已关闭问题需要重开。记录系统是否更新对应候选、多久选择下一项有效动作，以及是否错误激活无关路线。漏掉应重启的问题和重复投入已失效路线应分别报告，因为二者可能互相抵消在总任务得分中。材料与触发次序对全部条件相同，过程检查以所选检验、所用证据和状态变更为准，不以自述创造性作为机制指标。
机制分析还应考虑中介变量的局限。即使结构化记忆提高检索率，而检索率与结果改善相关，也不能仅凭相关关系宣布全部效果由检索中介。未测量的任务理解或额外检查可能同时变化。若需要因果中介结论，应设计额外干预或明确识别假设。对于初步研究，报告过程证据与竞争解释，往往比给出过强的因果分解更可靠。
反例任务应有意包含结构化机制可能不利的情形。例如任务极短且无需历史，维护档案可能只增加成本；环境快速变化时，旧经验可能造成负迁移；候选机制几乎不可区分时，保留过多分支可能耗尽预算。这些任务不是故意刁难新系统，而是用于划定适用域。一个可靠研究纲领应能预测何时自身方法不值得使用。
若消融结果与预期相反，应先检查操作是否真正改变了目标机制，再考虑理论修订。系统可能通过其他部件补偿被移除功能，也可能根本没有使用所谓关键结构。不能把任何反常结果都解释为更深层纠缠。机制主张必须允许被削弱，并通过新的、独立的设计重新检验，而不是在同一批结果上无限调整故事。
35.7 人机团队中的第二阶段验证
受控任务能够提供清晰比较，却不能充分代表真实科研。第二阶段可以让专业研究者在限定、低后果的研究任务中使用系统，比较普通工作流与已在受控实验中表现可靠的组织方式。任务可包括资料核查、分析方案比较或实验设计审阅，避免一开始就把未经验证系统用于不可逆行动。该阶段仍是研究设计，需要适当的参与者同意、信息保护与机构程序。
研究者应接受与系统功能相称的培训，避免新系统因不熟悉而被低估，也避免只有开发者能够熟练使用。培训时间应计入成本，并说明评价针对何种熟练程度。可以采用分组比较或经过平衡的交叉设计，但必须考虑研究者从前一条件学到的策略会保留到后一条件。若这种迁移正是研究对象，应明确分析，而不是把它当作无关噪声。
人机团队的主要结果可以是经独立审查的成果质量与完成成本，辅以研究者对关键决定的解释能力、工具移除后的核查能力和新任务迁移。单纯满意度不能代表可靠性，单纯速度也不能代表知识增量。需要检查团队是否更容易发现错误、是否减少无依据主张，以及是否能够在系统给出错误建议时保持判断。协作表现与个人能力应分别报告。
责任安排必须与实验任务一致。参与者应知道哪些输出需要核查，哪些操作只能在批准后执行，以及出现问题时如何停止。实验不应以隐藏真实风险来测试信任。可以使用事先说明会包含错误的模拟材料，研究识别与修复，而不让参与者在不知情中承担实际损失。研究伦理在此不是外加限制，它决定实验结果能否在合理合作条件下解释。
还应观察协作过程中的工作转移。系统可能减少写作，却增加核查；可能帮助初学者，也可能使专家花时间纠正低质量建议。平均效率应结合不同经验水平分析，且不能把个别开发者的熟练表现推广给所有研究者。若收益主要出现在某类任务或某类使用者，应据此调整适用建议。分布差异本身可以为系统改进提供线索。
长期阶段还需检查依赖与恢复。系统暂时不可用时，团队能否继续关键工作；模型更新后，既有流程是否需要重新验证；错误记忆被发现后，团队是否知道哪些成果受影响。持续科研依赖的不只是高峰表现，也包括中断时的可维持性。若一种系统只有在所有服务正常、资料完整且人员不变时才有效，其实际使用范围应受到相应限制。
第二阶段的结果不能替代受控机制研究，受控结果也不能替代真实协作研究。二者互补：前者帮助理解现实条件下的价值与负担，后者帮助定位具体因果机制。只有把两类证据连接，才能判断某种发生学组织既有理论可解释性，又有实际研究用途。跨层次验证比一次令人印象深刻的演示更接近新典范所需的证据。
35.8 结果如何改变研究纲领
正式实验应在实施前保存主要问题、条件定义、随机化方式、终点和分析计划。探索性分析仍可进行，但应与预先指定的检验区分。这样既保留发现意外结构的空间，也防止事后把任何结果改写成早已预期。研究纲领需要公开的不只是成功标准，还包括哪些结果会使某项主张收缩、哪些结果会要求放弃一种具体实现。
如果结构化记忆在等资源条件下只改善重复任务，却损害迁移，就应把主张限定为局部复用，并改进条件识别。若未决问题维护增加成本而不提高辨别力，就应检查候选表示和复查触发，必要时采用更简洁的任务管理。若后果连接减少同类错误却造成过度谨慎，就需要重新平衡行动与检查。实验结果应指向可修改的结构，而不是只给系统排一个名次。
若三个因素都没有带来具有实际意义的增量，也必须接受这一结果。可能是基础模型已经隐式完成类似组织，可能是任务不需要这些机制，也可能是本书提出的具体方法没有效果。不同解释需要后续证据区分，但不能立即以任务不足为由否定不利结果。预先界定的任务范围内没有优势，就是该范围内的重要知识，应完整报告。
若出现稳定优势，下一步应优先在未参与开发的任务包和另一种基础模型上检验关键因素，区分依赖特定提示配置的收益与较可迁移的组织效果。新的验证应保留原先终点和失败处理，并单列为迁移检验。若只有一种实现有效，就说明当前证据支持该实现；若多个实现共享的连接都有效，才有理由提高对共同机制的信心。工程效果的累积由这样的比较展开，既保留理论解释空间，也给出继续投入的具体条件。
开放材料应包括与复现相关的任务、配置、评价标准、执行日志和分析代码，并在隐私、许可和保密限制下提供足够说明。不能公开的材料应解释限制及可行替代，例如合成版本或受控访问。失败运行和中止条件尤其应保留，因为它们决定实际成本和可靠性。只发布最佳轨迹，会让后来者重复同样的误判。
这组设计把“承接历史”“维护未决问题”和“组织后果”转化为可以逐项改变的研究条件。其价值并不预设新系统必然胜出，而在于让一种关于知识发生的主张拥有明确的检验对象、竞争解释和修订路径。属性纠缠论在此不只是解释已经发生的研究，也参与设计怎样让新的差异显露，并接受这些显露对自身的回写。
人工智能因此成为科研新典范的一处试验场，而不是它的全部依据。真正广泛的问题仍然是：研究问题如何形成，对象如何获得可比较性，证据怎样跨越团队和学科，制度如何保存失败与修订。后续章节将从这组可控设计出发，转向科学共同体更广泛的发生条件，使局部工程经验与整体研究纲领之间保持可以逐步建立的联系。