← 专著首页目录专著栏目

第三十六章 现有的判决性读数,与正方证据为何不构成反证

现有的判决性读数:三项

支持本书判断的经验证据,只认满足三个条件的研究:预先注册、读数取在撤走 AI 之后、并且有延迟。满足这三条的研究不多,但方向高度一致。

其一,Bastani 等(PNAS, 2025)。 土耳其一所大型高中,近千名九至十一年级学生,以班级为随机化单位,预注册的主分析指定为”撤走 AI 后的无助考试成绩的组间比较”。三臂:仅教材的对照组、模仿常规聊天界面的 GPT Base 组、以提示语加装了学习护栏的 GPT Tutor 组。

结果分两层。带 AI 的练习环节,Base 与 Tutor 分别把成绩提高 0.137 与 0.361(满分 1,对照组均值 0.28)——Tutor 组的练习表现比对照组高出约 127%。撤走 AI 的考试环节,Base 组比对照组低约 17%,Tutor 组与对照组基本持平。

另有一项常被忽略的读数:两个 AI 组都在带机练习环节缩小了学生间的成绩离散度(对最弱的学生帮助最大),但这种缩小在撤机考试上完全不存在。

这一项研究的结构恰好对应本书的 P1 与 P4:P1 大幅为正,P4 无护栏时为负、有护栏时为零。没有任何一档为正。

其二,Liu 等(2026)三组实验。 AI 辅助稳定地提高了当场的数学与阅读表现,但降低了受试者在随后无援任务中的坚持度与成绩。这一项的价值在于它同时测了”能力”与”坚持”,并发现后者也受损——这与第十章的识别失败预测方向一致:认不出岔口的人,遇到需要停下来想的地方会更早放弃。

其三,Hamilton County 学区试验(Oreopoulos 等,2026;NBER WP 35621,预注册 AEARCTR-0018678)。⚠ 此项的对照臂性质在本书付印前被核验更正,详见附录五第 1.3、1.4 节:它的两臂都带工具(AI+计算机辅助学习 vs 仅计算机辅助学习),因而不与前两项同构,不能作为”撤机读数”并列计数;其延迟测结果也比本书此前的概括更正面。保留此段是为了让更正可被对照。 20 所学校、近百名教师、6,997 名六至八年级学生,使用带护栏的数学练习平台,一节约 50 分钟的练习课,一周后延迟测验(6,327 人参加)。结果:AI 组在出错之后的恢复明显变好(下一次尝试的正确率提高、回到正确所需的尝试次数减少),但在固定课时内推进得更慢、覆盖的材料更少,而一周后延迟测中的学习证据仍然微弱。

这里要专门指出带护栏那一臂的读数含义,因为它常被读反。护栏组”与对照组持平”经常被解释为”护栏解决了问题”。但持平的含义是:在带机练习环节领先 127% 的那一组,撤机后与什么都没用的对照组一样。也就是说,练习环节那 127% 的领先,在撤机读数上的兑换率是零。护栏做到的事是止损——把 Base 组的 −17% 拉回到 0——而不是产出。若把”提高考试分数”当作检验命题,那么迄今为止表现最好的一种 AI 学习设计,给出的读数也只是”不亏”。

这三项合起来给出一个稳定的格局:

凡是把读数取在撤机之后、并且预先注册的研究,P4 的增量落在零附近或为负。带护栏能把负改成零,没有一项把它改成正。

(按附录五的更正,严格满足”撤机+预注册”三条件的实际只有两项半;第三项的两臂都带工具。此处的概括据此收紧,而不是据此取消——两项半仍然全部落在零或负。)

正方最强证据为何不构成反证

必须处理反面的证据,而且要按它们最强的形态处理。

元分析。 若干篇近年的元分析报告了可观的效应量:一篇针对 35 项实验的元分析给出中学段 g≈0.93、本科段 g≈0.54;另一篇覆盖 51 项实验,报告学习表现显著提升,但同时指出对高阶思维的影响明显更弱,且在项目式学习情境中效果不佳。

这些元分析不构成对 P4 的支持,理由有三。第一,纳入研究的结局测量绝大多数取在带 AI 或紧接带 AI 的当场测试——落在 P1/P2。第二,干预周期普遍很短,而短周期恰恰是最有利于流畅性错觉、最不利于暴露保持损失的窗口。第三,这一领域的发表偏倚强度没有理由低于教育技术研究的历史平均水平,而历史平均水平很高。

值得单独指出的是,“高阶思维效应更弱”这一发现,不是元分析的瑕疵,而是同构定理的直接预言(第六章)。正方数据里已经包含了对本书的支持。

世界银行尼日利亚研究。 贝宁城的课后辅导项目,六周内每周两次、每次 90 分钟,共约 18 小时的额外学习时间,学生两人一组与大模型交互,教师在教室内巡视保证互动切题;对照组不接受任何干预,照常上课。该研究被广泛传播为”六周获得相当于一年半到两年的学习增益”。

这一设计的问题是刚性的:实验组比对照组多出了 18 小时的课外学习时间与教师在场。在这样的对照下,任何一种有教师巡视的课后辅导都会产生正效应;把效应归给 AI,需要一个等时长的非 AI 课后辅导对照组,而该研究没有。其方法与增益口径在专业圈内已受到公开质疑。

Kestin 等(Scientific Reports, 2025)。 大学物理课上,AI 导学的表现优于课堂主动学习。这是一项设计良好的研究,但它的比较对象是课堂教学形态,读数取在同一时段内的当场学习收益,仍属 P1/P2。它证明的是”在教一段已知内容时,一对一的 AI 导学比一对多的课堂讲授效率高”——这一点本书完全接受,并且认为它正是同构定理所预言的:判定已前置的区段上,提速最容易、也最容易被证明。

综合:

没有任何一项现有证据证到 P4。正方的全部力量集中在 P1/P2,反方的全部证据集中在 P4。两边不是在打架,是在测不同的东西。

© 德麦国际出版社 · 王德生《AI 时代教育的认知变革》· ISBN 979-8-90690-096-8