← 专著首页目录专著栏目

第三十九章 实验三与实验四

实验三:验收位是否依赖生成位

目的:检验第七章——本书全部规范主张的唯一承重。

设计:以实验一、二中形成的 ρ 分层为自变量(或直接随机分配不同 ρ 的学习方式),因变量为验收位能力的分层测验:给受试者一份由 AI 生成的、含有一处实质性错误的解答,要求

  1. 指出哪一步不成立;
  2. 说明它在什么条件下才成立;
  3. 给出一个能使结论翻转的条件改动。

三个层级依次加深:第 1 层只需识别,第 3 层需要生成反例。错误类型分两类:分布内错误(与训练期间常见的 AI 错误类型相同)与分布外错误(形态陌生但性质严重)。

预注册预测:

判负与其后果(本书最重要的一条自我约束):

若 E3-1 与 E3-2 均不成立——即验收能力不随生成经验的减少而下降——则第七章为假。此时本书第四编关于认知训练轨的正当性论证、第三十一章关于闭卷考试清单的判据,全部作废。

而正确的结论将是:教育应当整体迁往”学生—AI”复合单位,闭卷考试除后果位置清单上的少数岗位外全部取消,本书第一编所论证的”提分命题不成立”仍然有效,但它不再构成任何保留旧制度的理由。

本书在此明确:这个结果是可能的,而且如果它出现,本书接受它。一篇论文能给出的最强诚意,是写清楚在什么读数下自己的规范主张应当被丢掉。

实验四:AI 因素与训练因素的二乘二设计

接口说明 第五十八至六十章的三项实验测的是机制(ρ、k、验收位依赖)。本章的二乘二设计测的是另一个问题:AI 接入本身与专门的判断训练,各自贡献多少、是否存在交互。两类实验不能互相替代——机制实验说明占住是怎么发生的,二乘二说明占住能不能被教出来。

10.1 研究对象、处理期限与主要问题

以下是一项拟议方案,而不是已经实施的研究。第一阶段可在大学通识课程中招募成年学生,以六周教学为处理期,安排前测、结束后的即时测量、四周延迟测量和十二周追踪。选择成年学生有助于先检验流程与量表,而不能据此直接推广到儿童。后续若进入基础教育,需要重新处理任务适龄性、监护同意与课堂资源差异。

研究的主要问题不是”哪一组写得最长”,而是专门设计的AI教学相对于相同思维训练的非AI条件,是否在延迟后的创造与批判结局中产生额外增益。同时比较普通AI使用与常规非AI教学,估计AI接入本身在指定课程中的效果。两个比较不可互相替代:前者检验工具的额外作用,后者检验未经专门训练的接入效果。

教学材料可以围绕教育解释、科学论证和数学猜想组织,避免只训练单一作文格式。所有组获得相同核心资料和基本任务要求;AI组增加指定工具访问,思维训练组增加相同的关键判断协议。教师关注时间、作业数量和总体教学时长应尽可能匹配,并记录实际偏离。不能让”有AI”同时意味着更多教师反馈和更多课程时间,却仍把全部效果归于AI。

10.2 二乘二设计及其解释

实验设置两个因素:是否使用AI,是否接受明确的创造与批判训练。四种组合分别为常规非AI教学、常规AI教学、专门训练但不使用AI,以及专门训练并使用AI。常规教学也应具有合格的资料、反馈和练习,不能故意设置为消极抄写,以便制造AI优势。

专门训练包括初步判断、竞争解释比较、共享前提检查、关键反例、理由充分的修订与问题重构。非AI专门训练组使用相同任务、人工准备材料和课堂反馈;AI专门训练组在相同目标下调用系统。需要清楚区分设计中允许的个性化,与额外资源造成的混淆。AI反馈的自适应性可以作为处理的一部分,但其时间和范围应被记录,而不是隐去。

设A表示AI因素,P表示专门训练因素,一个基础分析式可以写为:

Y后测 = β₀ + β₁A + β₂P + β₃AP + γY前测 + 课程项 + 误差。 (2)

式(2)中,β₁对应常规教学下的AI差异,β₁+β₃对应专门训练条件下的AI差异;β₃检验两因素是否存在交互。看到AI专门训练组优于常规非AI组,并不能单独证明交互,更不能单独证明AI具有额外效果。所有计划比较应在分析前确定,而不能在结果出来后选择最有利的两组。

10.3 随机化、污染与版本控制

若在完整课堂中实施,优先考虑以教学小组或班级为随机单位,并按课程、已有成绩等进行分层,以减少同班学生互相转移训练协议。分析必须处理组内相关性,不能把同一班的每个学生都当成完全独立的随机单位。若资源仅允许个体随机,应记录同伴交流与组间污染,并承认其可能稀释或改变估计。

教师不能对处理条件完全盲法,但评分者应尽量不知道学生组别与测量时点。所有组使用同样的任务介绍与评价语言,避免通过”先进AI班”等标签制造期待差异。研究也应记录退出、缺课、违规使用工具与技术故障,并把意向治疗分析作为主要分析之一,而不是只保留完成最好的学生。

模型版本、系统指令、可检索资料和更新时点必须存档。若工具在处理期中发生重大变化,应事先规定如何记录、是否暂停或分段分析。系统生成具有随机性,不能只展示成功对话作为处理代表。研究应保存经过同意且去标识化的必要记录,用于检查学生实际经历了何种教学,而不是要求公开私人全部对话。

10.4 三类评价条件与生态表现的区分

第一类是无生成式AI的独立判断任务,允许预先规定的资料与基本计算工具,测量学生能否保留所训练的辨别、组织和修订能力。它不要求学生独力完成原系统才能完成的巨大工程,而应把任务规模调整到可比的能力单元。第二类是在统一AI接口、统一初始材料和相同熟悉时间下的协作任务,用来比较学生如何组织同样的外部资源。

第三类是换用条件:更换模型或界面,改变资料组织方式,允许各组携带按同一规则制作的个人判断卡片,考察协作能否重新建立。换用不能同时大幅提高任务难度,否则无法知道成绩变化来自工具适应还是任务改变。不同评价条件使用平行题,并平衡呈现顺序,减少前一任务对后一任务的练习影响。

另可报告保留熟悉工具与完整互动历史的生态表现,但不把它直接混入个人能力总分。历史积累本来可能是人机复合体的重要资产;其价值应承认,但需要说明结果由这套特定条件支撑。统一工具条件与真实熟悉条件分别回答不同问题,不宜用一种结果替另一种作结论。

10.5 样本量与”没有提高”的判定

样本量应围绕预注册主要结局、最小教育意义效应、测量信度、基线相关、组内相关和流失率确定。对简单的两组均值比较,一个近似规划式是n≈2[z(1−α/2)+z(1−β)]²σ²/Δ²,其中n为每组人数,Δ为待检测差异,σ为结局的组内标准差,z(p)为标准正态分布的p分位数,α为双侧检验显著性水平,1−β为目标检验功效。这只是独立样本的初步表达;前测调整、班级聚类、四组比较与交互检验均需要进一步计算或模拟。

尤其不能先选一个容易完成的小样本,再把不显著结果称为证伪。若目标是排除超过δ的正向教育增益,应让置信区间的上界足以落到δ以下;若目标是支持近似等效,则需要事先界定双侧等效界限。检出与零不同、证明超过教育意义阈值和支持等效,是不同的统计任务,所需样本量也可能明显不同。〔乙3〕

创造力和批判力作为两个主要结局,应预先说明是否要求同时改善,以及怎样控制分别报告时的多重检验。只有其中一项提高,就应明确写出另一项没有得到同样支持。若区间很宽,结论只能是信息不足;若出现指定结局的负向效果,也应报告其大小与不确定性,而不是用一个显著符号替代教育解释。

10.6 机制分析不应被误写成原因证明

对话记录可以用于分析候选生成、共享前提识别、证据请求、修订与目标变化。但某种行为与成绩相关,不证明该行为产生了成绩:能力较强者可能本来就更常实施它。若要识别先行判断或关键展开的作用,应在后续机制实验中随机改变相应安排,而不是仅依赖事后分类。

同样,不应在主分析中随意控制处理后投入时间、对AI信任或互动轮数,因为这些可能是处理影响结果的途径。研究可以把它们作为机制结局报告,但总效应与中介效应需要不同假设。本书因此主张先获得可解释的总体比较,再对少数关键机制做独立检验,避免一套复杂模型给未经验证的原因提供表面精确性。

© 德麦国际出版社 · 王德生《AI 时代教育的认知变革》· ISBN 979-8-90690-096-8