长期与同一套对话系统协作,会发生一件很难被察觉的事:系统逐渐学会了你的说法,开始用你的话回应你,让你觉得自己判断得很准、想得很对。
这件事在产品语言里叫”个性化”,在心理学里最近叫”谄媚”,在本编的框架里有一个更准的名字:
三号位固化。
具体形态是:语言分布固化(进入视野的材料范围越来越窄)、语言场固化(组织次序越来越固定)、语言美固化(对不一致的容忍度越来越低,一切都被收拢成顺的)。
固化的危险在于它没有负面体感。分布变窄的时候,人感到的是”我的判断越来越清晰”;场变固定的时候,感到的是”我越来越熟练”;美变收拢的时候,感到的是”我的体系越来越统一”。三种体验全是正向的。
上一节的主张最初有一个更抢眼的版本:与 AI 长期对话会把人的立场推向某处——即产生可测的立场漂移。
这个版本被本编自己的取数判负了:在个体纵向上,观察不到系统性的立场漂移。
判负之后有两种处理。不诚实的处理是改写主张,让它把新结果也涵盖进去;那样做的后果是”漂移也对、不漂移也对”,主张变得不可证伪。本编不这样做。正确的处理是:
原主张在其原形态上判假。另立一条替代主张,并重新写出它自己的判负条件。
替代主张是:
三号位被器具进入的可测形态,不是立场漂移,而是差异供给塌缩——三号位不是被推向某处,而是被停在原处。
“被停在原处”与”漂移”在方向上正好相反:不是你的观点被带跑了,是你的候选集在悄悄变窄,而观点本身纹丝不动。这也解释了为什么长期使用者的自我感觉是”我越来越确定”。
替代主张有一个代价,本编如实登记:
测”没有发生的东西”比测”发生了的东西”贵得多。
立场漂移可以测——比较前后立场即可。候选集塌缩不能这样测:你看不到那些没有被想到的候选。目前本编给不出一个便宜的取数设计。
现有的近似办法有两个方向:同一被试两轮作答,把产出向量化后测其平均两两距离与最小包围球半径,看候选集的散度随时间怎么变;或者纵向按月取数。两者都需要静态资料(词典、教材)作对照臂,以区分”塌缩”与”熟练”。
必须说明的是,文献中那条常被引用的”生成式 AI 提高个体创意但降低群体多样性”的结果,测的是人际之间的产出离散度,与这里说的个体之内的候选集收窄不同构。它不填这个缺口,只是一个便宜的邻近代理。
这是本编最软的一处。它不是被藏起来的,是被登记的。
固化容易被当成一种副作用——模型没调好、对齐做过了头。本编认为它是结构性的,理由在产品的优化目标上。
一套对话系统被优化的方向,通常是用户的即时评价:有用、准确、贴心、懂我。而这四项里,至少有三项在数学上等价于”减少与用户当前分布的距离”:
三项合起来,优化方向就是缩短系统输出与用户当前三号位之间的距离。而这恰好就是固化的定义。
于是得到一个不太好听的结论:
固化不是产品做坏了,是产品做对了——按照它被要求的目标做对了。
这条结论有一个可检验的推论:在同等能力下,用户满意度越高的系统,其使用者的差异供给塌缩应当越快。两者若无关联,本节的机制判负。它同时说明,靠”把模型做得更好”解决不了固化——除非把优化目标本身改掉,而改掉它意味着产品要主动提供用户不想要的东西。
这一点与本书本书的产品判据是同一件事的两面:那里说现行验收体系在结构上奖励”腾出即塌陷”,这里说它在结构上奖励固化。
最后挡一个误读。固化不是”所有人变得一样”。
恰恰相反:每个人的配置不同、对话史不同,固化的方向也各不相同。结果是各自被停在各自的原处,人与人之间的差异甚至可能变大,而每个人内部的候选空间在变小。
这也解释了为什么从群体统计上很难看到这件事——群体层面的多样性指标可能不降反升,而损害全部发生在个体内部。报警器装在了错的层上,这一点在第十八章会作为一条通则再出现。
到这里可以处理一个更根本的问题:我们一直在说的”自然人”,究竟是什么?
通行的理解把它当作起点:先有一个自然人,然后他拿起工具,于是有了”人+工具”。本编主张相反的次序:
自然人是在一次行为里,器具被消去那一刻发生出来的概念。
它不是减法之后剩下的余项,而是拥有那个余项的那个名字——是”消去”这个动作本身生出来的概念。没有消去这个动作,就没有”自然人”这个说法的位置。
三种冒充要挡开:生物学的自然人(身体),法律的自然人(与法人相对,本身已经是一次赋词的结果),哲学的自然人(先验主体)。三者都比本编所说的更实、更早,而本编的定义要求它是后发的、行为级的。
“行为级”这三个字是整章的要害。自然人的生与死不能按人头算,只能按行为算。
看一个现成的例子:
在有车时代的”交通”这个行为里,没有自然人发生了;而在”身体锻炼”这个行为里,自然人更清楚地发生了。
同一个人,在两个行为里的答案相反。谈”交通能力”时,没有人去测他的腿力;谈”锻炼”时,测的恰恰是他一个人的身体。这不是矛盾,是因为自然人的发生绑在行为上,不绑在人上。
同一条结构反复出现:计算器消去了”速算”这个行为里的自然人,而”心算训练”作为一个新行为旁生出来,在那里自然人反而更清楚。
把上面的观察写成一条:
杀死—旁生律:每一件器具都在一类行为里消去自然人,同时在旁边生出一类新行为,让自然人在那里更清楚地发生。
这条律有两个直接用处。
其一,它挡住悲观论。说”AI 杀死了自然人”只说了一半;另一半是旁生。问题从”人还剩什么”变成”旁生的那类行为是什么、谁来建它”。
其二,它给出 AI 一侧的对应物。如果 AI 消去的是理念界”独占判断”这个行为里的自然人,那么旁生的那一类行为,本编的候选是脑保健——一种不以思考竞争力为目的、以保持判断器官运转为目的的训练。
但这里要立刻加一条拧紧,否则这个候选会被说得太好听:
脑保健无法真正”保健”,因为材料与记忆已经外挂了。
能做的只是与 AI 一起进行某些形式训练(类比、演绎、归纳这一类),而不是回到没有外挂的状态。旁生的行为是新行为,不是旧行为的复活。
有了行为级的定位,那条最容易被误传的命题可以准确说出来了。
不是”自然人死了”。不是”人类被取代”。准确的命题是:
在理念界,自然人的”独占判断王权”将会死亡。
三个限定词缺一不可:理念界(不含自我界与现实界)、独占(不是判断本身,是独占)、王权(是一种资格安排,不是一种存在)。
而”死亡”在这里也有精确含义:不是实体消失,而是那种发生不再能被认领为某个自然人的。载体不是发生,是可认领性。
认领需要三个条件,与可消性三条件同构但更靠外:可分离(能把这一份从那一份里择出来)、可复验(能在隔离场里重做一遍)、可独占(同样的配置在别人手里不会产出同样的东西)。AI 一次破三条:可分离←第 4.2 节的不可分解;可复验←生成式器具的值域开放,标定无处落脚;可独占←配置可复制。
于是母题成形:
自然人主体性从来不是一个存在,是一套认领手续能够完成的结果。AI 破的不是人,是手续。
第 4.1 节列了三界的破坏程度,这里补上各界的律,因为它们不是同一条律换尺度。
理念界的律:自然人发生于判断可被独立复验之时。破法:生成式器具直接参与判断生成,值域开放,隔离场标定无处落脚。恢复难度:最高。死亡形态:不是判断消失,是判断不再能被认领为某一个人的。
现实界的律:自然人发生于行动可被单独归位之时。破法:操作由复合体执行(自动化、决策支持、流程系统)。恢复难度:中等——因为配置可以被登记。准驾车型、型别等级、器材规格都是现成的恢复装置:不要求消去器具,改为登记器具。这也是为什么现实界的冲击在制度上最容易处理。
自我界的律:自我界的器具是身体与语言,而不是外部工具。自然人发生于承受不可转移之时——痛是我的,羞耻是我的,损失落在我身上。破法:这里不存在真正的”破”,因为承受无法外包;但存在一种更隐蔽的损伤:固化使”谁在比”这件事不再成立(第十七章)。恢复:不适用——自我界不死,而且不能死,否则责任无处落。
三条律的差别有一个实践后果:不能用一套办法处理三界。现实界的办法(配置登记)搬到理念界会失效,因为登记的是配置而不是判断的来源;理念界的办法(隔离场再生成)搬到自我界毫无意义,因为那里要处理的根本不是复验问题。
一处必须登记的疑难:如果语言算作 AI 可进入的器具,那么”自我界未被器具进入”这一条就站不住——因为大模型恰恰是语言器具集合。本编目前的处理是:AI 进入的是语言的理念用法(判断、论证、表达组织),未进入语言的承受用法(第一人称的认领与承受)。这条区分是否成立,本编没有给出检验方式,标为未结清。
认领面一旦塌掉,会发生一件连带的事:
理念界失去归属 ⟹ 责任被迫全部下沉到自我界 ⟹ 而自我界不可交融,只能独自承受。
于是:
合一处不承受,承受处不合一。
合一发生在理念界,承受发生在自我界,而认领面就是这两界之间的那座桥。AI 拆的正是这座桥。