属性纠缠与科研新典范 / 第31章

全书目录PDF 第291页学习包与研生问对
本章目录

第31章 模型 智能体与人机研究单位

31.1 一次回答的边界为什么不等于系统边界

设想一项研究:研究者向语言模型询问实验异常的原因,得到三种解释;随后系统检索旧记录、运行分析代码、修改采样建议,并在下一次实验后排除其中一种解释。究竟是谁完成了这项研究?若只观察第一段回答,似乎是一个把输入映射为输出的模型;若观察持续运行的软件,便会看到记忆、工具与任务状态;若把实验材料、研究者的选择和机构授权纳入,则出现了更广的人机研究单位。三种描述分别定位预测部件、执行过程与研究条件,结论的归属应与所采用的范围一致。

模型在本章指由参数、结构及推断规则界定的计算部件。它可以根据上下文生成文本、预测结构或选择动作,但单独的模型定义通常不足以说明任务何时开始、哪些工具可用、历史如何保存以及输出是否被执行。将模型与一次调用等同也不准确:同一模型可以反复参与持续任务,调用之间的状态可能保存在外部。相反,一个包含完整历史的输入,也未必意味着模型自身拥有跨调用的状态更新。

智能体在这里采用操作性定义:能够在给定任务和权限下,依据观察选择行动、接收结果并继续调节行动的运行系统。它可能包括一个或多个模型、工作记忆、长期存储、工具接口和控制程序。定义中的重点是循环与状态,而非是否使用拟人称呼,也非是否表现得像人。一个固定规则的控制器可以具有某种行动闭环;一个语言表达极其丰富的界面,如果从不影响外部状态,也未必具备同等的行动结构。

人机研究单位则包括研究者、技术部件、材料条件、证据规范与责任安排。这里的“单位”不是宣称这些部分融为一个人格,而是指出某项研究能力需要在这一范围内才得到充分解释。例如系统可以产生候选实验,但只有掌握样本情况的人才能判断候选是否可实施;模型可以发现代码错误,但机构仍须决定哪些数据可用于检验。知识结果可以由共同过程产生,责任却需要在过程中具体分配。

研究单位的选择决定了什么会被算作能力,什么会被隐藏为外部帮助。如果将人工筛选的最佳输出归为模型能力,却不报告筛选次数,就夸大了模型的独立表现;如果把所有借助工具的成果都归为人类能力,则又抹去了技术部件的真实贡献。正确的归属不是在两个极端之间取一个比例,而是说明特定功能由何种结构完成,以及移除某个部件会发生什么变化。

边界识别可以从一项具体能力反向展开。若要解释系统为何排除某个机制,就检查必要资料由谁提供、排除规则由谁形成、外部测试由谁执行,以及哪一个环节把结果转为后续选择。移除某项参与后能力是否改变,可以作为识别依赖关系的一项检验,不能单独决定边界。即便某项资源不可缺少,也可在明确供给条件时被列为研究单位的外部支持;反之,可由他者替代的角色仍可能属于所研究的协作组织。单项移除后仍然成功,也可能来自另一部件的临时补偿;各项可被单独移除,并不意味着它们可被同时排除。比较须记录补偿路径与额外成本,才能判断原参与真正冗余,还是功能被转移。边界应随待解释的能力调整,同时将未纳入部分提供的条件写明,避免把整个实验室算作一个模型,也避免把决定成果的人工筛选隐去。

31.2 已有架构如何改变研究的进入点

生成模型并非只有直接回答这一种使用方式。ReAct研究将推理文本、行动与环境观察交错组织,使系统能够在执行中更新计划并处理异常。这里相关的事实是行动循环可以借由外部信息继续,而不是只能在最初输入内完成全部运算。该研究考察了具体语言和决策任务,不能据此断言任何如此组织的系统都具有可靠的科学判断,更不能把生成的推理文本直接视为内部心理过程的完整记录。[60]

检索增强生成展示了另一种边界变化。Lewis等人的原始工作把参数化生成模型与可检索的外部资料结合,使回答能够依赖显式存储的文本。[61] 这意味着“知识位于哪里”的问题需要分层回答:部分模式在模型参数中,部分证据在文档库中,部分关联由检索和上下文组织形成。检索得到的材料仍须检查来源与适用范围;能够找到一段文字,不等于已经得到支持当前命题的证据。

“生成式智能体”研究在模拟环境中组织经验记录、反思与检索规划。[62] 这里的历史载体属于运行架构,评价时需要把记录的取得、候选材料的选择和最终行动的生成分开。假如模型面对相同当前观察,因外部系统取出的往事不同而作出不同选择,能力解释就必须包含检索规则。若研究者预先挑选了恰好相关的记忆,系统表现中还包含这次人工选择。已有记忆架构使贡献归属获得了可分解的对象。

这些架构改变了本书的研究起点。需要追问的已不是如何给一种绝对无历史的计算加入第一条记忆,而是不同记忆结构能否保存有用的区分、能否承接失败的原因,以及能否在任务变化时修订自身的使用方式。简单存储、摘要提取、技能复用与问题维护,在功能上存在差异。把它们都称作记忆虽然方便,却会使比较失去分辨率。

同样,工具调用已经使互动超出文本交谈。读取资料、执行程序、控制设备与修改共享记录,会产生不同性质的后果。一次只读检索的失败可能只浪费时间,一次实验控制错误则可能影响材料与后续证据。研究智能体不能只报告语言回答质量,还要说明它能改变什么、哪些变化可恢复、谁有权批准行动。能力边界与后果边界应被同时描述。

架构分解也提供一种诊断:更换模型后结果仍受同一错误材料支配,应优先检查资料组织;修正检索后不同模型同时改善,增量可能主要来自运行系统;只有连同实验人员的判断才能恢复,研究单位便需包含这一专业环节。这里描述的是可供设计的比较关系,尚无实验结果。它要求报告改变了哪一项依赖,并保留部件之间的协同可能,避免把一次整体改进全部归给最醒目的新模型。

31.3 将三号位放回同一次研究发生

在一个人机实验中,可以很容易把模型叫作客体、人与界面叫作主体和互动,随后宣布三号位俱全。这样的命名几乎没有解释力。三号位是同一发生的稳定性侧重,而不是三个设备或参与者的固定席位。一个模型输出可以作为被检验的客体性结果,也可以参与组织研究者的判断;一个人工决定可以成为下一轮算法的可记录输入。研究必须说明这些侧重在何种事件中形成,而不能把名称固定在实体上。

以一项假设的材料筛选任务为例,系统收到若干候选材料的测量数据,提出下一批测试对象。显露是某些候选被判为值得进一步检验,差异序列包含数据清理、模型比较、约束筛选和人工取舍,特征纠缠则涉及测量定义、候选之间的关系、已有机制假说和任务目标。这不是把E等同于实验室背景;E所指的是使各项特征获得相互规定的组织,改变其中关键关联可能改变何者能够作为同一种性能来比较。

若后续实验发现某候选在另一温度范围表现反转,研究者可能修改性能定义,算法可能重设搜索区域,过去被排除的材料可能重新进入。三方程的意义在于提醒研究者:显露、路径与纠缠的变化相互规定。不能只把新数据追加到一个从未改变的标签体系中,也不能仅以“系统具有反馈”代替对反馈实际改变何物的说明。这里需要留下版本与事件之间的可追溯关系。

从S与D之间的张力进入,问题可能是同一候选在不同测试顺序中出现不同结果,迫使研究者重新检查特征关联。从D与E之间的张力进入,问题可能是既有分类无法组织新实验路径,需要改变可见的性能表述。从S与E之间的张力进入,则可能是观察到的结果与已认可关系冲突,推动新的区分和实验次序。三原理提供的是有方向的追问,不是预先保证每种张力都会带来理论突破。

六路径在此也不等于软件执行的六种流水线。研究可以从已有纠缠结构出发检验差异,也可以从一个异常显露出发追问关系,但真实过程可能往返、并行或中止。将进入顺序与全部时序区分,才能容纳智能体在短时间内展开多条搜索分支,以及人在较长时间内重定义任务的情况。运行速度不同,不妨碍它们参与同一研究过程;是否属于同一分析事件,取决于所追踪的相互规定关系。

这一框架带来的实质要求,是把系统性能的解释从部件清单推进到事件结构。相同模型接入不同记录、检验和授权安排,可能表现出不同的研究能力;不同模型在同一种约束下,也可能产生近似结果。研究应区分模型差异、组织差异与两者相互作用,才能判断哪一项改变真正扩展了知识产生的条件。

31.4 判断权限与功能主体性的操作边界

同一个系统能够提出判断,并不表示它有权使判断生效。材料筛选系统可以把候选按某种指标排序,是否据此购买样品、停止一条路线或发布结论,则属于不同决定。讨论功能主体性时,需要同时标明它能维持的任务状态、能辨别的理由和可修改的行动范围。这里研究的是发生中的判断组织;主观体验、人格与伦理地位仍有各自的证明责任,不能由记忆或行动连续性单独决定。

功能的层次可由决定遇到冲突时的行为区分。系统只按既定阈值分组,说明它执行了分类;系统能发现阈值与当前用途不符,并给出替代方案,说明它组织了一个需要重新判断的问题;系统若还获得调整阈值的授权,就承担了更大的行动范围。这些层次可以分属不同部件。一个模型可能提出正确异议,却没有修改数据库的权限;一个执行程序可能有写入权限,却没有比较理由的能力。二者配合得当,才形成可负责的决定过程。

判断权的转移应有明确交接内容。系统请求修改筛选标准时,应提交原标准遗漏的材料、受影响候选和可行替代;负责人批准后,执行端应得到所批准版本及适用范围。若负责人只同意补做一个检验,系统却把它解释为可以扩大整个搜索目标,权限就沿交接发生了漂移。工程上需要分别记录提案、批准与执行,核查实际变更是否落在同一范围。这个检查直接作用于研究单位的接口,无须从语言上的自主程度推断控制结构。

语言自述可用于定位系统声称采用的理由,最终仍需与实际决定对照。系统报告“已经根据新标准重新筛选”,而工具日志显示仍调用旧阈值,就暴露了说明与执行之间的断裂。相反,自动控制程序可能没有任何自我叙述,却正确阻止未获批准的写入。评价时应分别考察说明是否准确、决定是否有依据、执行是否符合权限。把三项工作拆开,才能判断应改进生成说明、补充领域判断,还是修复接口控制。

人机研究单位中还存在分布式判断。研究者提出价值目标,模型维护候选解释,实验装置提供约束,团队规范决定何时接受结论。没有必要把这整个过程拟人化为一个超级主体,才能承认知识是共同产生的。更有解释力的问题是,判断权如何在过程中转移,哪些转移可以撤回,哪些部件有能力识别自己不应继续决定。能够暂停并显露权限缺口,也可以是一种成熟的系统功能。

边界清楚还有恢复上的收益。若错误发生在筛选理由,需重审受影响候选;若理由正确而执行越权,需撤销超范围操作并检查已产生的后果;若批准者取得的材料不完整,则需要修复交接规则。三种故障可以给出相同的错误结果,却要求不同修改。功能主体性的分析在这里取得实际内容:它把判断在何处形成、由谁使之生效和如何被纠正连成一条可检查的关系。

31.5 后果由谁承接

机器承担后果的说法尤其需要澄清。软件可以因失败扣减预算、改变策略或停止运行,这属于运行状态的后果;研究团队可能因错误实验损失时间与材料,这属于组织和物质后果;参与者可能因不当建议失去机会,这是伦理后果。三者相关,却不应混为一谈。系统状态发生变化,不意味着它承受了人的痛苦,也不意味着原本属于人的责任已经转移给系统。

将后果写入AI系统,合理目标是改善后续行动的因果联系。例如一次分析使用了错误单位,修订后的系统应在相似任务中检查单位来源,并能说明何时该检查不适用。给失败加一个负分而没有改变行动结构,未必形成有效承接;保存“以后更小心”的泛化提醒,也可能无法在关键节点起作用。后果承接需要连接事件类型、错误机制、触发条件与可执行修订。

责任分配则需要另一层安排。研究者不能因为系统生成了方案便免于核查,维护者也不能只因模型由外部提供便不说明接口限制。具体责任应与控制能力、知情程度和角色义务相联系。谁决定使用系统,谁能够修改目标,谁有能力停止执行,谁将结果作为证据传播,都构成不同的责任节点。这并非要求每个人对整个系统无差别负责,而是使实际控制与可追问的理由相对应。

对高后果行动,还应区分建议、批准和执行。系统可以生成实验步骤,却未必被授权直接操作;批准者应有足够信息判断,而不是只面对一个“同意”按钮。若必须在极短时间内确认复杂结果,人工在场可能只剩形式。有效的人工介入需要适当时机、清晰不确定性和真实拒绝权。权限设计因而参与塑造系统能力,而不是在能力完成后附加的一层伦理装饰。

后果也可能由不在研究现场的人承受。一个模型帮助建立的分类若被学校、企业或公共机构采用,未来被分类者会进入新的条件。人机研究单位的边界不能无限扩张到整个社会,却应明确直接用途和可预见的传播路径。至少应说明结论支持什么决定、哪些转用超出证据,以及新的使用者需要重新核查什么。这是知识迁移的条件说明,也是一种对后果的前置承接。

由此可见,有历史的系统不等于有责任的制度。前者解决记录和行动连续性,后者解决谁能要求解释、谁能纠正、谁承担不能转嫁的义务。两者可以相互支持:良好的记录让责任有据可查,明确责任又使记录服务于真正重要的后果。若只增强记忆而不改变决定权限,系统可能只是更有效地重复原来的不当目标。

31.6 从自动化任务到共同研究对象

人机科研的贡献可以从替代重复劳动开始,但不应被这一用途穷尽。系统也可能把原来难以比较的资料组织起来,使研究者看见新的差异;把零散异常连接成候选机制;或者通过快速模拟暴露一个问题定义中的矛盾。这些贡献改变了研究对象如何出现。评价它们时,不能只问机器节省了多少时间,还要问新的表述是否带来可检验的区分,以及这种区分能否经受外部证据。

Boiko等人的Coscientist研究展示了语言模型与检索、代码和实验工具相结合,在限定化学任务中参与规划、执行与优化的可能。[63] 这类工作说明研究循环中的部分环节可以被技术系统连接,但不能据此取消专业设置、实验基础设施与安全约束的作用。对于本书,更重要的启示是:评价单位必须覆盖这些连接,否则会把装置、文档与人员预先完成的工作隐藏在“自主”一词之后。

共同研究对象的形成,可以通过一个假设的文献争议说明。研究者最初询问某种处理是否有效,模型发现不同文章使用了不同结果定义。团队因而将问题改成“哪些定义对应不同的变化机制”。新对象不再只是一个总体效果,而是结果定义与发生条件之间的映射。这里的创新不在于模型给出一个惊人的答案,而在于它帮助改变了可以被有意义地提问和比较的单位。

这种改变也可能错误。模型可能过度区分同义表达,把本来可比较的资料分裂为许多类别;研究者可能因新表述显得深刻而忽略基本测量误差。共同建构并不意味着任何建构都有效。新的对象需要说明它保存了哪些旧事实、解决了什么旧困难,并提出哪些额外可检验的判断。若只增加术语而没有改善区分与解释,就不能以“发生”之名豁免比较。

人机分工因而应允许相互纠偏。模型可以要求研究者说明隐含前提,研究者可以要求模型给出来源与反例;外部数据可以同时推翻双方共同接受的解释。重要的是建立一种让反证能够进入的结构,而不是预先规定人永远负责创造、机器永远负责执行,或反过来把人的作用缩减为批准。不同任务中的有效分工需要经验研究,不能由一种抽象的人机本质论先行决定。

当共同过程形成新问题时,还应保留问题的来历。哪些异常促成改写,哪些候选被放弃,哪些限制由现实材料提出,都可能成为后来理解结论范围的关键。保留这些信息不是为了给每一句话计算作者份额,而是让知识的形成条件可供重建。共同研究单位由此获得历史性,其成果也更容易被他人检验和继续发展。

31.7 研究能力如何被公平比较

比较模型与智能体时,最容易混淆的是能力与资源。一个系统拥有更多检索次数、更长运行时间和人工筛选,表现较好可能只是因为投入更多。另一方面,若把所有系统压到相同的一次调用,又可能剥夺某种架构赖以发挥的组织优势。公平比较不等于任何情况下都强制同一资源配置,而是清楚区分等预算效率与允许充分运行后的能力上限,分别回答不同问题。

最低限度的报告应说明模型版本、上下文来源、工具权限、运行预算、重试规则和人工参与。随机生成的系统还需要多次独立运行,不能把最好的一次演示当作稳定能力。对于持续任务,记录应覆盖失败、中断和恢复,而不是只保留最后成功的路径。否则智能体的历史会被整理成没有代价的连续进步,研究者便无法判断记忆到底减少了什么错误。

能力指标也应与任务性质相适应。检索任务可以关注证据覆盖和来源对应,代码任务可以关注独立测试与维护影响,实验设计任务则需要关注可执行性、辨别力与成本。它们不能轻易合成一个普遍科研智力分数。若确需综合评价,权重必须公开,且应同时保留分项结果,使某项严重缺陷不被另一项优势掩盖。综合数字应服务于具体选择,而不是替代对能力结构的理解。

对人机系统还要检查能力归属的变化。新工具可能提高团队结果,却使成员逐渐失去独立核查能力;也可能降低个体记忆负担,使其有更多精力进行概念判断。这两种路径都可能发生,不能根据工具使用频率直接推断。评价应包含协作状态下的表现、工具移除后的表现和新情境迁移,且说明这些能力在实际研究目的中的相对重要性。

比较还需要强基线。若新系统具有结构化记忆,而基线只能单次回答,那么胜出最多说明跨轮组织在该任务中有用,不能证明SDE解释具有独特优势。应增加普通检索记忆、标准任务管理或已有智能体作为竞争方案,保持关键资源可比。理论增量只有在能够区分自己的机制建议与这些成熟做法时,才从一般倡议转为可评估的贡献。

第35章将进一步操作化这些比较,本章先确定比较所得结论应归于哪里。模型替换、检索修订和人工复核应各有可记录的版本;共同使用的资料和授权条件则需保持清楚。若某项收益在撤去人工筛选后消失,应将它报告为协作能力;若筛选工作只是被转移给隐藏的维护人员,成本也应回到同一研究单位。失败归属同样如此:材料缺失、模型误读和目标含糊须分别定位,才有可能选择有效的修订层次。

比较的时间单位也应与主张相称。评价一次问答,可以固定输入并重复生成;评价长期研究,则需要观察任务如何在新证据、人员更替和工具变化后继续。若系统的优势被认为来自历史积累,实验就应包含足以让历史发挥作用的任务序列。若序列只是同一道题的重复变体,所谓长期能力又可能只是局部记忆复用。任务之间需要既有可迁移的联系,也有必须放弃旧策略的差异,才能辨认持续研究中的保持与更新。

31.8 一个能够承接研究的最小系统

综合上述区分,可以提出一个作为研究对象的最小人机系统:有明确的问题版本,有可追踪的证据材料,有记录候选解释和行动理由的存储,有接收外部结果的通道,并有能够修改或停止任务的授权结构。这里“最小”指解释所需的功能,而非唯一的软件方案。它们可以由简朴的文件与人工协作实现,也可以由复杂平台自动组织,关键在于功能之间是否真正连接。

这种系统至少能够回答四类问题:当前结论依赖什么,哪些事项仍未解决,下一步为何值得做,以及新结果会改变什么。回答不必全部由模型生成;研究团队共同维护也可以。若这些问题只存在于一份不会影响行动的报告中,系统仍缺少有效承接。结构应允许证据撤回后更新相关结论,允许目标变化后重排任务,并在权限不足时暂停执行而不是自行填补。

最小系统不要求保存一切。过量记录可能降低检索质量,增加维护成本,也使已过时的限制继续影响新任务。应该保存能够改变未来判断的历史,并为压缩、更新和删除设置理由。原始证据与解释性摘要应分层存放,避免摘要逐轮改写后失去依据。历史的价值不在体积,而在系统能否在需要时恢复对当前决定有意义的区分。

它也不要求永远维持开放状态。研究必须能够在证据充分时接受结论,在成本过高时终止某条路线,在任务完成时形成稳定成果。需要保留的是稳定的条件说明及重新开启的触发点。一个已经得到充分支持的结果,不必因为发生论强调历史而始终悬而不决。开放与封闭应围绕具体证明责任组织,而不是被当作彼此排斥的思想品格。

在此意义上,人工智能可以成为科学发生学的一种特殊实验材料:系统边界、记忆内容、行动权限和反馈通道能够被明确改变,使关于历史如何参与属性稳定的问题具有工程上的可操作性。但这种可操作性不是对生命或人的直接复制。机器系统中清晰可控的变量,在社会实践中可能相互渗透;从工程结果推广到人的认识与伦理,需要另行说明可比的结构与不可比的条件。

最小系统的边界至此由一组可交接功能确定:资料进入、理由形成、行动获准和结果复核。它们共同解释研究能力,却保留各自可以失效的位置。接下来需要回答的是,这些功能如何跨轮保持同一任务:上一轮被修改的规则是否真的进入下一轮,目标变更后旧行动是否仍在执行,失效证据是否还能被正确追溯。第32章由研究单位的空间边界进入这种时间上的承接机制。

参考资料

按全书首次引用顺序编号。来源说明标明研究的支持范围;进一步解释与研究设计由正文承担论证。

[60] Yao, S.; Zhao, J.; Yu, D.; et al. · 2023 · ReAct: Synergizing Reasoning and Acting in Language Models

https://arxiv.org/abs/2210.03629

ICLR 2023论文;支持交错组织推理文本、行动与环境观察的系统方法;不据此推断意识。

[61] Lewis, P.; Perez, E.; Piktus, A.; et al. · 2020 · Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

https://arxiv.org/abs/2005.11401

原始RAG论文;支持参数模型与外部可检索记忆组合的技术事实。

[62] Park, J. S.; O’Brien, J.; Cai, C. J.; et al. · 2023 · Generative Agents: Interactive Simulacra of Human Behavior

https://arxiv.org/abs/2304.03442

原始研究;支持自然语言经验存储、反思与检索规划的架构存在,不证明真实人格或意识。

[63] Boiko, D. A.; MacKnight, R.; Kline, B.; Gomes, G. · 2023 · Autonomous chemical research with large language models

https://doi.org/10.1038/s41586-023-06792-0

原始研究;支持Coscientist在限定化学任务中连接检索、工具和实验执行,不推论无人监督的一般科研。