第46章 三个研究设计:复合、碰撞、升层
一、研究不是把故事中的成功再演一次
本章提出三个前瞻性研究方案,分别检验复合体造种、差异碰撞与三界升层。它们尚未实施,以下没有真实参与者数据、效果量或统计显著性。林越、周宁与张岚只负责说明设计逻辑,不作为已经参加研究的人。方案的任务,是使不同结果能够改变理论,而不是替全书寻找一组容易成功的对象。
三个方案共享若干要求:使用多任务、多时点的个人自比,保存工具与支持条件,区分作品、个人、配置和整体结果,冻结候选种子的功能骨架,并保留有实质竞争力的比较条件。它们也有不同主要问题,不能把一次总体进步重复写成三个机制都得到证明。
正式开展之前,需要先完成测量与实施预研。九格编码是否可理解、任务族是否可比、资料方式是否改变所测功能、观察负担是否适当,都应先接受检验。若基本测量仍不稳定,就应先改进工具,而不是以更大样本掩盖概念不清。研究规模增加并不会自动修复对象定义的问题。
二、共同预研:先使九格画像能够被反对
预研材料应包含同一人在不同条件下的片段,也应包含容易混淆的反例,例如表达更丰富但决定未变、改变由教师直接提供、旧能力在新任务中显露。编码者需要说明自己依据哪段行为解释哪种关系,而不是只给出九个印象分。本人也应有机会指出遗漏条件与误读。
随后比较不同编码者的判断,检查分歧来自概念边界、观察材料还是对任务的不同理解。九格可能并非处处都能区分,某些格之间也可能在当前领域高度重叠。研究应允许合适的测量修订,但修订后必须重新说明所测对象是否仍符合本书定义,不能为了提高一致性而悄悄把九格换成另一套方便计分的能力清单。
权重位次及其变化门槛在此阶段确定。可以比较不同的画像距离或位次一致性方法,但要检查它们对并列、缺失、不确定和任务条件变化是否敏感。九格之间共有三十六组两两关系,这是组合数量的计算,不表示三十六项独立心理指标。将它们全部当作互不相关的证据,会夸大资料量。
三、共同时间安排:让三条判据获得真实位置
一个仅作说明的时间框架,可以在第零、二、四周安排同一任务族的基线观察,随后用第五至第八周进行限定干预。各时点采用功能相近而表面不同的材料,并保持主要评价条件可比。三个基线时点只是最低形状的示例,能否充分估计个人波动,还要依据预研增加任务或延长观察。
干预结束时可以安排保留与更换AI的整体功能检查,但它们必须在正式撤去期开始以前完成,并记录最后一次相关AI接触。此后撤去满四周,期间可以在第十、十二周以无AI的主要评价条件观察同一任务族,在满四周之后另外引入新任务族。具体日期应按实际天数核对,不能只凭周次名称声称满足四周。
基线、干预后与撤去后的主要画像比较,应尽量使用一致的目标支持条件;保留AI的作品另行报告。必要的一般性与无障碍支持需要事先说明。若无法合理执行撤去,研究仍可检验复合效果,但必须将严格个人归属标为未检验,不以更换工具或课堂短时关闭替代。
四、研究一:共同造种是否比同等资源的适应支持增加作用
研究一的主要问题,是当资料、教师时间与AI基本能力相近时,围绕个人断点共同生成问题—路径—反馈,是否比高质量的适应支持产生不同的个人组织变化。对照不应是没有帮助的放任学习,而应允许根据学生表现调整解释、材料与练习,保留已有教学资源的强版本。
实验性安排在此基础上增加明确的造种约束:学习者的回应能够改变核心问题、路径分支与反馈,过程必须留下可交付版本,并将九格侧重的暂定断点作为设计依据。对照与造种条件都应得到合理基础支持,以减少把额外照顾、更多时间或更强工具误当作机制差异的风险。
分配方式需根据实际场景确定。能够在同一课程中随机分配时,应考虑学生之间会不会交换材料、教师会不会将一种条件的做法带入另一种条件。若这些影响难以隔离,可能需要以小组或课程单元作为分配单位,并在分析中保留这种组织。不能按小组提供处理,却把组内每个人都当作完全独立的重复试验。
五、研究一需要分开三个主要结果
第一个结果是候选种子是否确实形成了不同的功能组织。独立评议者可以在适当遮蔽条件下比较版本,检查所谓造种是否只是措辞私人化。第二个结果是过程是否让学习者承担了目标所指向的判断。第三个结果才是个人画像在多时点与撤去后的变化。前两个结果是执行与机制材料,不自动替代第三个结果。
研究还应记录作品质量与知识学习,使实际教育价值不会因强主张未成立而消失。若造种条件主要提高作品而个人画像不变,应报告整体或配置收益;若知识增长能够解释全部后续差异,则不能直接宣称九格机制获得独立支持。较弱解释需要作为正常竞争者进入分析,而非作为研究结束后才补上的免责说明。
可以另设较小的机制预研,比较使用九格记录与使用同样细致的非九格任务分析,检验九格是否增加设计区分力。但这应作为预先说明的独立问题,不宜在一个样本不足的主研究里无限添加条件。研究越想一次证明所有事情,越可能没有足够材料清楚解释任何一件事。
六、研究二:差异以什么关系进入,才可能改变侧重
研究二保持材料数量、知识主题与后续整理机会相近,比较差异的组织方式。一种条件把不同意见并列展示,另一种条件要求参与者围绕一个共同决定说明相互影响,并允许这些影响改变单位、次序或边界。主要比较不是差异多寡,而是差异有没有获得改变行动关系的功能。
还可以设置有结构的个体比较条件,使学生独立分析同样的冲突材料。这样有助于区分一般对照学习与实际相互回应的作用。但条件数量应由预研与资源决定,不以设计复杂作为严谨的表象。所有条件都应提供必要的知识说明和可承担的任务,不通过制造羞辱或关系压力强化所谓碰撞。
主要过程材料包括谁提出了什么差异、对方如何回应、哪个决定因此改变,以及新安排如何接受再次检查。单纯的发言次数、情绪强度与方案数量只可作为辅助描述,不能作为碰撞发生的充分指标。若材料被并列阅读而没有改变任何决定,应将其与真正的相互作用分开编码。
七、研究二怎样连接过程与后续个人变化
在碰撞活动结束后,同一人需要进入相近任务族的延迟观察,再进入新任务族,检查其是否能够以不同方式组织差异。假如课堂讨论丰富,后续个人判断仍回到原有安排,研究应限制个人发生主张;若变化只在原同伴在场时出现,则应认真考虑关系或整体能力的解释。
过程先于结果出现,并不自动证明过程造成了结果。可能是某项已有能力同时影响讨论质量与后测表现,也可能是教师在关键位置提供了额外帮助。研究需要通过比较条件、支持记录与预先规定的分析缩小这些解释;不能仅把一段动人的过程叙述接到一次较好结果前面,就称机制已被证明。
如果同样材料的独立比较与相互回应都产生相近变化,应检验共同的对照或知识因素,而不是坚持只有人际碰撞才有效。反过来,若相互回应的特定关系与后续变化形成稳定联系,也应在另一组材料上复核。机制研究的价值,在于找到可区分条件,不在于保住最初喜欢的活动形式。
八、研究三:封装、拆封与条件设计是否支持升层
研究三可以围绕一组由局部任务逐步转向条件组织的模拟项目展开。两种安排均提供可靠材料与相近工具功能,一种主要使用已给定的流程完成任务,另一种还要求学习者比较流程边界、组织封装单元与决定何时拆封。主要目标是检验组织单位、方法关系和条件设计是否形成可迁移变化。
任务不应简单地让后者面对更难、更长的内容。比较中要尽量保持知识需求与投入相近,并使用某些简单但边界改变的问题,观察学习者是否知道何时不宜继续套用原流程。较高层判断的证据,可以来自正确选择简单方法,也可以来自有理由地重建方法,不能只奖励答案越来越复杂。
三界材料分别收集。理念界使用概念与方法比较任务,现实界使用权限清楚的低风险协作模拟,自我界只在本人愿意且适当的范围内记录目标与行动安排。研究不应强迫参与者改变私人生活,也不能以一份自我反思替代现实行动。无法取得某一界的材料,就应限制相应结论范围。
九、研究三要特别防止把项目规模当作层级
独立评议者应当看到组织关系,而不仅看到作品篇幅与参与人数。可以提供经过必要遮蔽的决定记录,检查原来哪些内容作为给定条件,后来哪些成为被设计对象;检查这种改变是否真实影响行动,而不是增加一段理论说明。评分规则需要在看到结果以前确定,并保存不一致意见。
迁移任务应至少包含表面改变但组织功能相近,以及关键条件改变两种情况。前者检查是否只记住材料外观,后者检查是否会在不适用时继续沿用新方法。一个总是采用更复杂框架的人,不一定比能够判断何时简化的人更高层。研究需要让这种区别能够产生不同评价。
如果所有变化都可由速度、熟练或工具预先拆解解释,应撤回升层主张,同时保留相应收益。若出现个人侧重重组而条件设计未变,也应报告分离。研究三不应把前两个研究中任何积极结果自动累加成升层,而应承担自己的更强证据要求。
十、种子交换:检验为我而造是否具有可辨内容
种子交换需要先确定同一粒种子的功能核心和允许调整的外层。可以改变语言呈现以保证理解,却不能每换一个人就重写核心问题与反馈逻辑。若调整超出冻结范围,应登记为新版本,而不是继续算作同一粒种子。交换之前还需核查双方的先修基础与材料熟悉度,避免故意制造不适配。
对甲和乙分别建立自身基线,并为各自形成候选种子。随后比较甲使用甲种与乙种、乙使用乙种与甲种时的变化,但应认真处理顺序与学习累积。真正的学习不会因为等待几天就自动消失,不能假定一个简单交叉次序具有完全洗脱效果。可以采用不同参与者或相近任务材料的分配,并把无法排除的累积限制写进解释。
分析的核心,是种子与个人条件的交互作用,而非谁的绝对分数更高。仅发现甲总体进步大于乙,不说明甲种专属;仅发现甲种对两人都好,也不说明两人的我材相同。还需要在更多相近条件下复核,才能扩大作用范围的判断。两个人的一次交换,不能证明这粒种子对世界上所有其他人都无效。
十一、效果、显著性与等效不能相互代替
本书大纲使用“效果显著降低”作为专属候选判据,正式研究必须在预研后确定什么效果量具有实际意义、采用什么不确定性范围与统计门槛。不能只要某个比较出现较小概率值,就忽略差异是否微小;也不能因为没有达到显著门槛,就直接宣布两种种子完全等效。
支持同样有效,需要事先约定可接受的等效范围,并获得足够精度;支持效果更低,也应说明降低幅度与估计的不确定性。对于资料不足、区间过宽的情况,应报告不能区分,而不是为理论方便选择成功或失败。统计工具的作用,是约束解释,不是替设计者产生自己希望的结论。
九格多项比较尤其需要控制选择空间。主要指标、次要指标与探索性分析应事先分开,避免在许多格、时点和任务中挑出一项好结果代表整体。探索可以发现新问题,但发现以后需要新的资料验证,不能在同一批资料里同时完成发现与确认。
十二、缺失、退出和偏离是研究对象的一部分
参与者可能错过观察、停止使用种子、在撤去期接触AI,或因任务负担退出。研究不能只保留完整且顺利的个案,再将其表现当作方案对所有人的效果。应当预先规定如何报告分配后的全部情况、怎样说明实际执行程度,以及不同分析各自回答什么问题。
对撤去期的偏离,需要使用与研究目的相称的记录,而不是无限监控私人生活。本人说明、有限使用记录与可核查的任务材料可以相互补充,但仍可能存在不能确定的部分。不能确认满四周的个案,应标注判据未满足或无法核实,不能默认为已经遵守。
退出原因若与负担、资源或不适当互动有关,应进入实施评价。这样的资料可能提示方案需要改写,不能只归为参与者不配合。同时,应尊重不愿详细解释私人原因的人,保留适当的未知。研究需要真实,而真实不要求占有参与者全部生活。
十三、盲评与版本冻结怎样减少事后自由
教学过程中很难让教师与学习者完全不知道自己采用了哪种安排,但可以尽量遮蔽后续评议者不必要知道的信息,例如材料来自前测还是后测、哪个版本被命名为造种。遮蔽是否成功、哪些内容无法遮蔽,都应记录。盲评是减少部分偏差的手段,不是能够消除全部期待的保证。
版本冻结包括任务材料、种子功能、配置、主要评价规则和分析计划。研究开始以后因安全或实施问题需要修改,可以修改,但应保留时间、理由与影响范围。修订之后得到的结果属于哪个版本,需要说清楚。持续发生要求能够改写设计,并不意味着确认性研究可以无记录地随时移动标准。
还应在合适范围内公开匿名化的材料结构、编码说明与分析代码,使别人能够检查推理。不能公开的原始资料,需要说明限制,并提供不泄露隐私的核验途径。透明并不等于无条件公开个人数据;它意味着尽可能让主张与依据之间的关系接受独立检查。
十四、先决定什么结果改变什么主张
研究一若只提高作品质量,应限制个人发生解释;若共同造种与强适应对照无可辨差异,应检验新增约束是否必要。研究二若差异并列与相互回应效果相近,应收缩关于特定碰撞关系的主张。研究三若只见速度与规模增长,则不能报告升层。三条候选判据分别对应稳定改变、个人归属和种子专属性,任何一条都不能由另一条的成功替代。
若画像不能稳定编码,三个研究的九格结论都应暂停,先修订测量。若种子功能没有按设计实施,则可以讨论可行性失败,但不能将其作为该机制已经获得支持或被彻底否定的同一种证据。执行、测量与理论失败需要分开,同时不能因为存在执行问题就无限保护理论,反复实施困难本身也会限制应用主张。
最重要的是,研究计划应写出这些对应关系以后再收集确认性材料。否则,设计者总能在结果出来后找到一种好听解释。让反证提前进入方案,才使研究真正具有改变全书的力量,而不只是为已有叙述增加图表。
十五、三个研究可以分步推进,不需要一次证明全部体系
合理的推进顺序可以先从可行性与编码开始,再选择最有条件的一个机制问题开展限定研究,之后扩展到其他任务族、对象与场景。这个顺序是研究资源安排,不是说复合一定先于碰撞、碰撞一定先于升层。真实发生可以有不同入口,研究则需要根据可检验性分工。
每一步都应产生可以交接的材料:哪些概念已能操作,哪些比较具有区分力,什么结果仍依赖特定条件,下一步最值得减少哪一种不确定性。这样,即使某项强主张未获支持,研究也不会只剩一篇成功或失败的总结,而会给后续提供具体修订对象。
研究为建构争取经验资格,也必须保留使它失去某项资格的可能。下一步不再泛泛承认“仍有局限”,而是逐项说明哪些证据会要求删除一句话、缩小一个范围或重新定义一个对象。反证只有接到这些动作上,才真正进入全书。
带走的话不能区分、未检验与可靠反证,是三种不同的研究结论。