← 专著首页目录专著栏目

第三十四章 评价革命,与 ρ–k 平面上的产品判据

评价革命:怎样证明学生真的上移了一层

一、先确定评价的是谁的能力

一份优秀报告,可以来自学生的独立能力,也可以来自有效协作,还可以主要来自外部系统。三种情况都可能产生有用成果,但教育认证必须说明自己测量什么。课程可以同时承认独立能力与协作能力,却不应让两者在分数里毫无区分。

本书建议并列报告四类结果:必要基础的独立掌握、工具支持下的任务表现、高层判断的质量,以及改变条件后的迁移表现。它们不宜过早压成一个总分,因为一个维度的优势可能掩盖另一个维度的关键缺口。

例如,一名学生在有AI时表现出色,撤去生成支持后仍能辨认前提与设计检验,但写作速度明显下降。这不等于没有学会。另一个学生在有AI时也表现出色,却不能说明结果的适用范围,则应得到不同的评价。撤用考核应测目标能力,而不是要求把机器提供的全部产能复制进人脑。

二、有效层级要在扰动中测量

给学生一套熟悉格式,他可能凭经验完成选择;改变一个关键条件,才更容易看到结构理解。因此,评价应同时包含正常任务与边界任务:遗漏一项前提、改变样本来源、替换目标、加入反例,或把相同原理放入不同的表面情境。

本书将”有效认知层级”定义为,在约定任务范围与扰动条件下,学习者能够以足够依据稳定完成判断的最高组织层面。这一定义需要在具体研究中操作化,不能根据一段宏大文字直接判定某人达到最高层级。

有效颗粒度也应类似测量。不是统计回答里有多少理论名称,而是检验学生能同时组织多大范围的关系,并在其中一个接口变化时作出相应调整。操作失败时,应记录究竟是基础不足、块过大、接口不清,还是判据错误。

三、一个教学用评分原型

以下量表只是可试行的教学原型,不是已经验证的心理测量工具,也不是SDE创新智商量表。每个维度采用零至三级,并分别报告,不据此宣称学生的总体智力。

结果判断维度:零级是无依据接受或拒绝;一级能够指出表面问题;二级使用与任务相关的检验;三级能够解释检验的覆盖范围与剩余不确定性。关系判断维度:零级混淆问题与答案;一级能说出关联;二级能比较前提与适用条件;三级能处理模型冲突并给出整合或保留分歧的理由。

关键展开维度:零级不能定位风险;一级随意复查;二级能选择与风险相关的节点;三级能说明展开所得如何改变整体判断。问题发生维度:零级仅换措辞;一级增加一般问题;二级改变了变量、边界或证据需求;三级进一步设计了能够检验新问题的任务。

迁移维度另行记录:在新材料中能否保持核心判断,是否仍依赖原来的提示,以及经过多久仍能完成。不同维度的三级不应简单相加成为一个”革命程度分”。量表首先服务反馈,其可靠性与公平性需要研究检验。

四、口头说明不是复述聊天记录

课堂可以要求学生对关键选择作简短口头说明,但不应要求他背诵全部对话过程。重要的是三个节点:最初怎样判断,哪项证据改变了判断,现在还保留什么不确定性。说明应当与实际作品中的可见变化相对应。

同时,反思文字也可能被AI代写。评价者不宜把一份漂亮的”学习心得”直接当作认知过程证据。可以临场更改一个条件,要求学生指出影响;可以展示一个未见过的竞争方案,请他选择应检查的节点。这样的互动更接近对实际支配能力的观察。

评价也应允许多种表达方式。语言组织不流利,不必然意味着概念结构薄弱;学生可以借助图示、算式、操作和适当的辅助表达。需要保持的不是同一表面形式,而是判断任务与证据要求的可比性。

五、从最终签字到可追责的使用

让学生在AI作品末尾签上名字,并不能自动产生主体性。可追责的使用至少包括知道结论的边界,能够说明依赖来源,出现错误时能够修订,并知道哪些部分需要请他人复核。责任必须与实际可获得的信息及能力相匹配。

教师不应以末端签字把全部风险移给学生,也不应因为AI参与就取消学生责任。合理方式是分层注明:哪些判断由学生形成,哪些来自工具支持,哪些尚未经独立确认。这个说明不是为了统计谁写了多少字,而是为了让依赖结构可见。

如果学校的课程目标已经转向高层判断,而评价仍只奖励最后答案,改革就会被旧机制拉回去。评价革命的核心,是把学生能够支配的关系、能够识别的边界与能够实施的修订,真正纳入能力认证。

ρ–k 平面:对话形态的四象限与一条产品判据

把代走率 ρ(生成位被 AI 占据的程度)与候选显影度 k(否决被显式暴露的程度)作为两个坐标,对话式学习的全部形态落在一个平面上。四个象限性质截然不同,而通行的讨论把它们混为一谈。

低 k(否决不显示) 高 k(否决显示)
高 ρ(AI 生成) 代答式——默认形态。成品路径,高流畅,高满意度,高归属错记。预测撤机读数为负。 样例式——相当于一份好的教师板书。判定被暴露但仍非学生所作。预测撤机读数接近零或略正。
低 ρ(学生生成) 盲问式——只提问不给结构。学生被留在岔口上,但看不到候选空间。预测高挫败、高退出率,读数方差大。 逼走显影式——学生说下一步,AI 在其说出之后补充被他忽略的候选与排除依据。预测撤机读数最高。

四个象限给出的第一个结论是:“用不用 AI”是一个没有信息量的问题。同样是”用 AI 学习”,代答式与逼走显影式在这张表上处于对角线两端,预测的读数方向相反。任何不区分象限的效果研究,测的是一个混合物;任何不区分象限的政策,管的是一个不存在的对象。

第二个结论指向产品验收。目前 AI 学习产品的通行验收方式是:带机任务完成度、用户满意度、使用时长、带机测验成绩。这四个指标全部随 ρ 上升而上升——也就是说,现行的产品验收体系在结构上奖励代答式。一个产品越是往左上角走,它的商业指标越好看,而它的撤机读数越差。

因此本书提出三条采购与验收判据,它们不依赖本书任何未被实测的主张,只依赖第一编的单位错位:

判据一(位置披露):任何声称”提升学习”的产品,应当公布其默认交互形态在 ρ–k 平面上的位置,并给出编码方法与样本转写。这是可核查的,因为转写就在产品自己手里。

判据二(读数位置):效果宣称必须标明读数取在何处。取在带机环节的,只能宣称”提高了带机表现”;要宣称”提升学习”,读数必须取在撤机之后并有延迟。

判据三(等时长对照):任何效果对比必须包含等学习时长的非 AI 对照臂。缺少这一臂的效果宣称,无法区分”AI 起作用”与”多学了若干小时”。

这三条判据合起来,可以在不需要任何理论承诺的情况下,把目前绝大多数”AI 提升学习”的宣称过滤掉。它们也是本书全部内容里,唯一可以在今天就执行的部分。

© 德麦国际出版社 · 王德生《AI 时代教育的认知变革》· ISBN 979-8-90690-096-8