本书说了九卷,全部压在两句话上:竞争力的核心在差异被结算的那一层,而那一层已从个人之间移到复合体之间;个人仍占三个构成位,必要而不核心。
这两句话要能被打,就要能被测。五个读数各回答一个问题:
· B 双向不可还原率——这一对做出的东西,是不是两端都做不出来的?
· X_c 跨边界换维率——这一对之间有没有场?
· V 方差比——差别在复合体之间还是在个人之间?(本书最承重的一个)
· H 史厚度——这一对的账有多厚,还在不在长?
· J 接缝率——这一对的产出是不是一件东西?
五个读数分两层(第 20 章之二):H 与 X_c 读这一对的能力,B 与 J 读这一次的产出,V 读结算面在哪一层。
问题:前一篇论文的未吸收率只量一个方向——裸基底给不给得出。复合体要求两个方向:拿掉 AI,人自己给不出;拿掉人,基底默认也给不出。
取法:从这一对一段时间的产出里取出带作废条件的判断,每条压成五十字以内的主张,去掉处境信息。一边交给当下基底的干净实例(不给这一对的任何背景),要它对同一问题给默认回答;一边交给这个人,要求他在不用任何基底的条件下重做。由不知情的第三人判断该主张是否被任一方覆盖。
B = 两个方向都未被覆盖的条数 ÷ 总条数。
必须标注:基底的家与代、测量日期。基底换代重测(第 11 章第 8 节:新东西有保质期)。
读法:B 高,产出长在两端之间;B 为零,这一对是加法——要么人这一端什么也没带进来(拿掉人,基底给得出),要么基底只是抄了人的话(拿掉基底,人给得出)。
已知的弱点:五十字压缩会丢掉处境,而处境正是本书说的差别来源;压掉处境之后,很多真正属于这一对的判断会显得像通用命题。所以 B 系统性偏低。本书接受这个偏低——宁可低估,不可高估。
问题:这一对之间有没有场(第 18 章)。
取法:取这一对处理一个难题的完整记录(对话记录最方便,赛前准备记录、诊室录音、复盘记录也可以)。把每一步归入 S、D、E 之一,并标注它来自人还是基底。
X_c = 跨过人机边界且同时换了维的步数 ÷ 总步数。
纪律:两人独立标注,取一致部分;标注者不知道这一对的成绩。
读法:只在判断上问答的一对(第 18 章第 5 节那六步),X_c 为零;人给纠缠、基底分化、人聚合的一对,X_c 高。
已知的弱点:这是五个读数里最依赖标注者的一个。同一步"它站在什么上面",一位标注者记为换维到 E,另一位可能记为同维追问。所以 X_c 的一致性检验(第 47.7 节)比它本身更要紧:一致率过低,X_c 取不了值,第 18 章退成一段描述。
问题:差别在复合体之间,还是在个人之间?——这是命题二的全部。
取法:
σ_c² = 固定同一个人、换不同复合体(磨合好的账号版 vs 新开的窗口)测出的成绩方差。
σ_h² = 固定同一个复合体(同一个裸基底)、换不同的人测出的成绩方差。
V = σ_c² ÷ σ_h²。
读法:V 大于一,复合体之间的差异大于个人之间的差异,结算面已经转移,命题二成立;V 小于一,核心仍在个人,命题二作废,本书的题目要改回"最强大脑"。
这是王德生"换人不换刀"令的落地版本,也是本书唯一一个可以直接判决全书的读数。本书把全部重量押在它上面。
已知的弱点:两种方差的任务难度必须等值,否则比值无意义;成绩必须由不知情的评委按第 28 章那张六栏表打(不按台风);样本量要按先导研究的方差算,本书不虚构一个数字。
问题:这一对的账有多厚,还在不在长(第 17 章第 5 节)。
取法:两个数,不合成一个。
厚度=账上有作废条件、且在期限内被真实检验过的条目数(检验过就算,无论过没过)。
来源比例=最近三个月新增条目中,来自外面(新处境、陌生窗口、不共享语汇的人)的比例。
读法:厚度低=这一对还年轻或从不判负;来源比例接近零=空转的前兆(第 11 章之二)。两个数要一起读:厚而只从内部长的账,是一本正在僵化的账。
问题:产出是不是一件东西(第 19 章)。
取法:把产出切成段,对每一段做删一方刀——删去人的贡献看是否仍成立,删去基底的贡献看是否仍成立。两种删法之后都塌,记零;有一种删法之后仍成立,记一。J = 记一的段数 ÷ 总段数。J 越低越好。
已知的弱点(卷三末尾已写在明处):删一方刀假定产出可以被分成"人的贡献"与"基底的贡献",而本书自己说过在真正的复合体里这两部分不分。本书的回答是:删的是依赖不是署名——删掉基底的分化,看人还聚合得出那句话吗;删掉人的处境,看基底还分化得出那三条前提吗。这个回答要靠一致性检验(下一节)才站得住。
五个读数里有三个靠人的标注:X_c、J,以及第 32 章招聘表与第 36 章成绩单里的"复述"。三处都要先做一致性检验,否则后面的实验白做。
X_c:两位不知情标注者标同一份记录,逐步比对,算一致率。
J:两位不知情标注者对同一份产出做删一方刀,逐段比对。
复述:两位不知情考官,对同一位受试者在扰动之后的复述判"通过/未通过"——扰动指改一个条件再问"那这条判负还成立吗"(第 32 章末尾那个口子:背下来的接不住扰动,沉淀了的接得住)。
三处的一致率若低于一个事先写死的下限,对应的那一章退回描述。本书不预先给这个下限的数字——先导研究做完才给,凭空写一个数字是第 47.4 节说的那种虚构。
五个读数里有四个要读别人的账,而账里有处境(第 23 章:供给的第一种材料是"只有你知道的事")。卷九第 51 章第 6 节与第 54 章第 4 节各提过一次这个口子,这里把它写成取值之前必须先做的三条。
一、只读可核对的项。日期、条目、作废条件、触发与撤回的留痕。感受栏不读——它是账主写给自己的,不是写给读数的。第 47 章第 10 节那个第三方核对的设计已经这样做了,这里把它推广到全部读数。
二、账归账主。读数可以被记录、被比较,账本身不进入任何第三方的库。这一条与第 48 章的预测一("账的归属会成为显性争议",而本书预判第一批争议对用户不利)是同一件事的两端:本书既然做这个预判,就不能自己先做那件事。
三、取值前说清用途与期限。为什么取、给谁看、留多久、什么时候删。一个人可以为一次实验交出自己的账,不等于交出它的将来。
三条不是研究伦理的全部(实验二涉及学校与学生,须走正式的伦理审查)。它们是本书能自己立的最低限度:一本主张"账属于个人"的书,不能靠读别人的账来证明自己。
场地:一场十轮的模拟辩论赛,辩题固定(处境题),每轮九十秒自由辩论,评委三人,评分只按第 28 章六栏表(不看台风),评委开场先做换人不换稿校准。
四臂:
· 臂一:同一名辩手+磨合二十场以上的账号版;
· 臂二:同一名辩手+刚注册的裸基底;
· 臂三:另一名水平相当的辩手+同一个裸基底;
· 臂四:两名辩手都不用基底(禁设备)。
预测写死在这里,测前不改:
1. 臂一显著高于臂二(同一个人,复合体不同)。
2. 臂二与臂三的差距小于臂一与臂二的差距——即 V 大于一。
3. 臂四两人的差距与臂二臂三的差距相当(禁设备之后比的仍是沉淀,而两人在沉淀上相近)。
4. 臂一的 B 与 X_c 最高,臂二臂三接近零。
关键纪律:跨两代基底做两次。只在一代基底上测出的 V 大于一,可能只是那一代的特性。
加一臂(卷二末尾的口子):臂五——同一个裸基底,两位提示技艺明显不同的人。若提示技艺的差别在两代基底上都稳定存在并解释了成绩的大部分,那么差别从基底之内来,本书的减法(第 13 章)做错了,命题二作废。
附篇一第十三章给了一个更严格的教育实验设计,本书收为第二个实验,不做改动,只标出它在本书里判决什么。
设计:学习者随机分配到三种等时训练——既定问题求解训练、成熟的一般探究或批判性思维训练、发生学(本书的三个构成位)训练;三组同材料、同时间、同工具接触。主要后测再随机分到有 AI 与无 AI 两种评价条件,成三乘二平行组(不同参与者,避免同一道题先在 AI 帮助下做再无辅助重做的记忆污染)。
关键统计量:Δ =(发生学组在有 AI 条件下的表现 − 对照组在有 AI 条件下的表现)−(发生学组在无 AI 条件下的表现 − 对照组在无 AI 条件下的表现)。Δ 大于零且不确定范围排除事先规定的微小效应区间,支持"AI 提高了发生学训练的相对收益"。
它在本书里判决什么:判决第 35 章(教三个构成位)有没有用,以及它是否优于成熟的一般探究训练——若不优于,本书相对探究教育的增量归零,第 35 章退成一份探究训练的变体。
一处与附篇一的分歧要同时测:附篇一把组织能力 g 放在个人身上,本书放在这一对之间(第 6 章之二)。在这个设计里加一臂:发生学组的后测再分"配自己磨合过的账号版"与"配裸基底"两种——若前者显著高于后者,g 在这一对之间(本书对);若两者无差别,g 在个人身上(附篇一对)。
问题:第 38 章说客观的判据可以从"对所有人成立"换成"可以被自己的账判负"。卷六末尾的反驳是:账的作者既是运动员又是裁判。
设计(最小,一个月可做):取若干本记满三个月的账。对每一条"如果……我就错了",由账的作者与一位不知情的第三方各自独立判定"是否被触发"(第三方只看可核对的项:日期、指标、那一次的处置与结果;不看感受栏)。算两者的一致率。
读法:一致率高,账的自判可信,第 38 章那句话站得住;一致率低,且作者系统性地判"未触发",那么账是在支持作者想相信的东西,第 38 章退成"记账让人感觉更有把握"——一句心理学的话,不是一句关于客观的话。
次序:先做标注一致性检验(三处,各一周),再做实验一(一天,但要做两代基底、若干轮),再做实验三(一个月),最后做实验二(一个学期,最贵)。次序按"便宜的先做、能判决全书的先做"排:实验一直接判命题二。
代价:实验一几乎不花钱,要的是一个愿意配合的辩论队与三位肯用新表的评委;实验三要的是几本真账与一位有耐心的第三方;实验二要的是一所学校与一个学期,它是三个里唯一需要正式伦理审查与资源的。
本书交稿时的状态:三个实验一个都没做,五个读数一个都没取值。这一句写在这里,也写进第 48 章的自曝与附录丁的状态表。