← 专著首页目录专著栏目

第 42 章 元分析:人机组合为何平均更差

从最强大脑到最强复合大脑 · 思想主体性的革命 · 王德生 著 · 德麦国际专著第 115 号

42.1 它看见了什么

二〇二四年十月发表于《自然·人类行为》的一项预注册元分析(Vaccaro、Almaatouq 与 Malone,MIT 集体智能中心;8 卷 12 期 2293–2303 页)汇总了一百零六项实验、三百七十个效应量,纳入研究发表于二〇二〇年一月至二〇二三年六月;初筛五千一百二十六篇,合于标准的七十四篇。总体上,人—AI 组合优于人单独完成(他们称之为"人的增强"),但平均表现低于人或 AI 中较强的一方(合并效应量 Hedges' g = −0.23,95% 置信区间 −0.39 至 −0.07),即没有找到协同;任务之间差异明显:决策类任务上损失,创作类任务上有增益;而当 AI 单独强于人时,组合劣于 AI 单独。作者自己列出的局限包括可能的发表偏倚与研究设计的差异。

它看见的东西对本书最不利,也最该被摆在正面:只要存在互动,协同优势就已经发生——这个观念不成立。一百零六项实验说的是,把人和 AI 放在一起,平均而言你得到的不是更好,是更差。

42.2 它的组合缺哪一项

本书的读法,如实申报:被测试的绝大多数"组合"是加法。

人拿到 AI 的输出后决定采纳与否——这是判断对判断,全在一维上(第 18 章第 5 节那六步)。一次性实验没有史——参与者与系统之间没有账,没有"我们上次在这里错了"。实验室里押错了不疼——没有承接位。三项皆无,正是本书对加法的预测:一端远强于另一端时,弱的一端贡献趋零并拖累总和。

必须同时申报三件事,否则这个读法就是事后找补。

第一,这个读法是本书事后给出的。元分析本身没有区分加法复合与有场的复合,它的纳入标准里没有"有没有账""有没有换维""有没有承接"这三项。本书不能说"它测的不是我说的东西"就完事——那是最廉价的辩护。

第二,它的子结果对本书只是线索,不是证据。决策类损失、创作类增益这一条与本书的边界同向(创作离活的处境近,决策类实验多是封闭题),但它太粗,不足以证明本书的分界。

第三,如果把本书说的三项都装进实验里,结果仍然是负的,本书就错了。这一条写进了卷八的作废条件二。

42.3 为何那些实验可以缺这三项

不是研究者疏忽。三项在实验室里天然难做。

史要时间——一个有账的复合体至少要磨合几十次;而实验通常是一次性的,参与者与系统初次见面。场要共享的走法——人要会问"它站在什么上面",而这需要训练;实验里给参与者的通常是一段使用说明。承接要有真实的后果——押错了要疼;实验室里最多是少拿一点报酬。

还有一条语料层面的事实,对本书有利,所以必须由本书自己说出来并标明它的分量:这批效应量里约八成五来自决策类任务——参与者从一组预先给定的选项里选一个。按第 10 章之二的分界,那类任务离封闭题很近:选项已给定,处境不改变答案,押错了在实验室里也不疼。这与本书的边界同向。但它只是语料构成,不是对本书的检验:一个人可以说"他们测的多是决策题",不能由此说"换成处境题结果就会反过来"——那需要另做实验,而那正是第 47 章第 8 节要做的事。

所以这一百零六项实验测的是"一次性、无训练、无后果的人机组合",而这恰恰是今天绝大多数人使用 AI 的样子。从这个意义上说,元分析测的是现实,不是本书的稻草人:现实中的多数组合就是加法,而加法确实更差。本书与它的分歧不在事实上,在结论的射程上。

42.4 分离线(一句可反驳)

分离线:元分析测的是一次性、无训练、无后果的组合(加法);本书说的是有分布、有场、有承接的耦合。前者平均更差,与后者更强并不矛盾。

>

这句话怎样被反驳:做一项包含这三项的纵向研究——参与者与同一个账号版磨合足够多次(有账)、受过接力语法的训练(有场)、押错有真实后果(有承接)——跨两代基底,若复合体在可判定结果上仍不优于裸基底单独,本书的分离线作废。本书自认这最可能发生,而且比第 41 章那一条更可能。

还要写明一处不对称:元分析有一百零六项实验,本书有零项。本书在这一节里拿一个未做的实验去回应一个做过的实验。这是本书与它之间真实的力量对比,不能被"射程之外"这四个字掩盖。

42.5 留下一件东西

这项元分析留给本书的一件东西,比任何支持性的证据都重要:它把"复合体"从一个自动成功的标签变回了一个需要被证明的东西。

在它之前,"人机协同"这个词自带褒义;在它之后,任何人说"我们组合了人和 AI",都应当被追问一句:你的组合是加法还是耦合?账在哪里?换维几次?谁认账?

本书卷三的三号位、卷四的构成位、卷八的读数,全部是为回答这一问而设的。所以本书对它的态度不是防守,是感谢:它给了本书一个必须回答的问题,而一个必须回答的问题比一百句赞成更有用。

© 德麦国际出版社 · 王德生《从最强大脑到最强复合大脑》· ISBN 979-8-90690-065-4