第18章　AI进入之后，“我”在哪里？

一、一台被叫作“我的AI”的系统

设想一位名叫顾宁的编辑，逐渐将自己的选题笔记、审稿习惯和修改案例整理进一个辅助系统。最初，他只是请系统改几句话。后来，他要求系统保存一项判断：不要把作者暂时的犹豫直接改成确定立场；当论据不足时，先标明缺口，不要为了语言完整而补出事实。再后来，这些要求影响了他如何阅读新稿，也影响了系统向他提出何种问题。我们暂且把这称为一个人—AI复合编辑实践，不预先宣布它已经构成稳定的复合主体。

某次系统更新后，顾宁发现自己反复强调的约束不再稳定起作用。一段尚未核实的判断又被润色成流畅结论。服务方解释说，新版本整体表现更好，用户也仍然可以手工纠正。顾宁并不否认某些能力改善，但他关心的不是一次回答是否更加漂亮，而是自己长期建立的判断方式为什么能够在不知情的情况下被替换。

这个情形把“我在哪里”的问题具体化了。如果“我的AI”仅指账号属于我，那么账号没有变化，似乎问题不大。如果它参与了我的知识发生，问题就不同：我的差异序列、特征纠缠与显露怎样保持连续，谁能改变其中的重要条件，改变之后我还能否辨认并修正？这些问题不能只由品牌、设备位置或拟人化名称回答。

本章不试图用一个简单标准裁定所有人—AI系统是否具有主体性。它首先提出一个分析任务：当工具参与持续发生时，哪些条件使个体性能够形成，哪些安排却使所谓个人复合主体成为外部主体任意调用的入口。这个任务同时需要能力、结构与位置的区分，不能让其中任何一层独自代替另外两层。

二、能力更强，不等于个体性更明确

顾宁的系统可以更快发现病句，也可能在某些任务中提出他没有想到的反例。这些属于能力问题。判断能力是否改善，需要限定任务和证据，不能因为一段话符合自己的口味就宣布系统变聪明。即便改善得到可靠观察，也只能说明它在相应任务上更有用，不能自动说明这些能力怎样归入“我的发生”。

结构问题则关注各种工作如何连接。私人笔记是否与对外服务分开，某项修订是否改变后续调用，任务材料是否只在约定范围内流动，版本更换是否有可辨认的记录。这些安排可以支持连续性，也可以使个人无法知道自己正在依据什么工作。结构不是外部包装，它参与构成顾宁能看见哪些差异、能够怎样修正，以及哪些显露会被自动呈交出去。

位置问题进一步追问：谁提出目标，谁对重要变更具有决定位置，谁能拒绝某类调用，谁承担已经向他人作出的承诺。一个系统可以有很强的能力和整齐的结构，却让顾宁只能接受不可协商的目标替换。在这种情形下，称它为“我的AI”不能填补位置上的空缺。反过来，顾宁拥有调整权限，也不意味着他已经形成了可靠编辑能力；错误依然可能发生。

将三层分开，并不是将它们彼此隔绝。能力变化会改变可采用的结构，结构安排会影响谁实际能够判断，位置也会决定什么能力值得被继续发展。但是，不能从“系统更好”直接推出“重要修改不必由当事人知晓”，也不能从“我拥有决定位置”直接推出“我的判断无需验证”。复合主体的发生必须同时面对两种约束：个体性不能被性能名义吞并，可靠性也不能被所有权名义免检。

三、个人边界不能按机器台数来画

一个常见的直觉是：自然人头脑里面是“我”，机器一旦参与，就变成“我们”。这个区分有助于提醒人们注意外部参与，却未必足以解释复合发生。一本私人笔记可以参与记忆，一套检索安排可以参与问题重建，一个AI系统可以参与修改路径；仅凭这些支持不在头脑内部，就宣布所有相关发生已经向主体间性开放，会过早取消本书需要研究的问题。

另一个相反的直觉同样危险：只要某个系统长期服务于我，就可以把所有参与者都吸收到“我”里面。顾宁使用的系统可能包含服务方的运行安排、共同模型、受托维护人员和外部资料。这些参与并不会因他声称“这是我的复合主体”而失去独立地位。尤其当真实他人提供了私密材料时，不能以个人系统内部使用为名，取消对方的边界诉求。

因此，我们需要区别功能参与与任意处分。某项能力参与了我的持续发生，不等于其一切构成条件都为我所有；外部条件参与了发生，也不等于外部提供者可以任意使用发生中的一切显露。共同条件与个体边界可以同时存在。真正困难的是具体规定哪些用途被允许、谁能看见什么、变更怎样进入当事人的判断，而不是在“全部是我”与“全部是我们”之间二选一。

本书据此提出一个工作方向：复合主体的边界应通过持续发生中的实际组织来辨认，而不只由设备数量、部署地点或所有权名称决定。它是否允许个人保有问题、修正与拒绝的位置，是否把外部参与限制在可说明的范围，是否能够在失效后继续重建，这些都是需要观察的条件。它们仍不是充分的本体判准，但比简单数人数或机器台数更接近我们的问题。

四、连续性不是把所有东西永远记住

顾宁希望系统保存审稿原则，但不希望它永远把一次仓促判断当作他的固定性格。他曾在赶稿时说“这类文章以后都不要再看”，后来发现这个拒绝过于笼统。若系统长期据此过滤材料，他可能越来越少遇到改变看法的机会。表面上，系统非常了解他；实际上，一句临时话语正在替代持续发生。

所以，复合主体的连续性不能等同于永久记忆。我们需要区分哪些是当前任务指令，哪些是经过反复确认的工作约束，哪些只是试探中的表达，哪些已经被撤回或改写。记得更多，不自动意味着更能支持“我”；有时恰恰需要让旧显露不再占据后续发生的支配位置。

在示意设计中，可以把顾宁的编辑实践组织成不同的记录层。任务材料仅为这次编辑服务；候选原则需要经过实际使用与反例后才进入长期规则；失效记录说明某条规则在哪些条件下需要限制；被废弃原则保留必要的变更说明，却不再作为默认行动依据。这样的设计不是要求保存所有私人过程，而是让实际影响后续工作的重要条件能够被辨认和修订。

连续性也不等于每次都维持相同判断。一个人能够明确指出自己为什么改变，并把改变落实到下一次工作，可能比始终重复旧答案更具有可追踪的主体性。顾宁的系统若从不改变，看起来忠诚，却可能只是把过去的我封装成现在的障碍。隐私保护应支持个体性持续发生，而不是替一个已经过去的版本争取永久统治。

五、对外服务中，谁来承担“我”的承诺

顾宁开始用这一复合系统提供编辑服务后，另一层问题出现了。客户收到一份标明“论据核查完成”的稿件，后来发现其中一个关键来源并不存在。顾宁不能只说系统生成了错误，所以与自己无关；服务方也不能仅凭顾宁点击过提交，就把所有结构缺陷都转给使用者。本书不在这里规定现行法律责任，而是提出服务设计中的责任辨认要求。

首先，要区分谁承诺了什么。若顾宁承诺的是语言编辑，就不能在交付时暗示事实已经全部核验；若承诺包括来源核查，就需要实际执行对应工作。系统能够生成参考条目，不等于已经完成来源核读。复合能力必须通过明确的工作内容和证据连接到承诺，不能凭AI参与就推定所有环节自动成立。

其次，要区分内部发生与对外证据。顾宁可以保留私人阅读联想和完整探索史，但客户有理由得到与服务承诺相关的核查说明。为某项公开判断提供依据，不要求公开全部私人过程。相反，以私人过程不能完全公开为由拒绝任何核查，便将隐私变成了对外责任的空洞屏障。

再次，失效必须回到能够改变下一次服务的位置。如果错误来自某种默认生成方式，就需要改变调用与复核安排；如果来自顾宁把未核材料当作已核来源，就需要改变交付判断；如果客户提供了错误文件，也需要明确材料边界。责任辨认的目的不是找一个最方便的人承担一切，而是让具体缺口可以得到修复，同时不取消参与者的实际承担。

在这个意义上，“人—AI复合主体”不是免除责任的新名称。它要求我们比单一工具说法更认真地追踪承诺、执行、验证和修正。越是将系统看成能力的一部分，越不能在失效时突然宣布它与自己毫无联系；越是承认外部结构的作用，也越不能把个人的判断位置完全抹去。

六、能否退出，是边界的一次实际检验

顾宁准备更换系统。他导出了全部笔记，却发现新系统无法按照原来的方式处理规则优先级，也不能识别哪些例子已经被判定不再适用。文件仍在，工作能力却出现了明显断裂。这个构造情形说明，资料可取回与发生可延续不是同一件事。个人复合主体的边界，不能只在使用顺畅时判断，还应在变更与退出时接受检验。

退出不意味着所有条件都能零成本复制。某些能力依赖特定模型或工具，更换后需要重新测试。承认这种依赖，不等于要求平台必须提供不可能的完全等价替代；但也不能把任何困难都视为使用者应当默默承担的自然事实。需要说明哪些资料能够取回，哪些功能属于特定服务，哪些约束能够迁移，以及哪些效果尚未得到确认。

最小的连续性不是“任何地方都一样”，而是个人仍然能辨认自己的关键问题、工作规则、失效边界和对外承诺，并有机会在新条件中重建它们。若全部判断历史只能由外部系统解释，个人离开以后连自己曾经如何工作都无法说明，所谓“我的能力”就具有很强的依附性。这个程度需要具体评估，不能一概称为不存在主体性，也不能完全忽略。

同样，顾宁退出时也不能把客户原本限制使用的资料带到所有新平台。个人迁移的愿望不会自动解除对他人的承诺。退出设计必须兼顾两个方向：本人有继续发生的可能，他人也不因为系统更换而失去原有边界。真正的个体性保护从来不是一方无限自由、另一方默默承受。

七、一个代理动作，怎样看出它支持的是谁的发生？

顾宁希望智能体整理一周编辑记录，形成下一轮工作提醒。他的要求包括两部分：找出经核验的重复错误，保留仍在探索中的私人疑问，不将它们写成长期能力标签。智能体如果只追求提醒越多越好，可能把每一处犹疑都转成“用户弱项”；输出看似完整，实际上却改变了目标。

这里不能只检查提醒是否语法正确。需要追踪从请求到摘要再到长期记忆的三次处理，各自是否保持了原有对象。一个疑问在当前对话中值得讨论，不代表它已经被确认；一项暂时处理办法对这次任务有效，不代表它应当成为所有未来任务的固定规则。不同时间尺度之间的转写，是复合主体边界的一处关键位置。

顾宁可以要求智能体将条目分为已核验规则、待检验假说与本次临时安排，并在进入长期使用前给出明确的修改入口。这样的设计不保证分类永远正确，却使系统的解释可以被当事人看见并纠正。如果所有条目都自动固化，所谓记忆越丰富，可能只是外部规定越沉重。

还要检查谁能够利用这份提醒。用于顾宁自己的下一轮编辑，与提供给不相关的评价者，是两个用途。即使提醒内容完全准确，后者也不因前者获准而自动成立。模型参与“我和自己”的工作，不是外部组织取得完整自我观察报告的当然理由。

当智能体需要调用另一项工具核验规则时，不能自动把整份私人记录一起发送。可以先用不涉及私人经历的构造材料检查方法，只在确有必要且获准的范围内转交。一个代理具有更多行动能力，就更需要说明何时代表当事人、代表到什么程度，而不能把行动范围等同于技术能够触达的全部范围。

八、目标改变以后，旧的“我”是否仍在替现在作决定？

连续记忆常被想象成越完整越好，但主体的发生包括改变目标。假设顾宁原来追求尽量统一作者风格，后来认为应保留不同作者的表达特征。若智能体仍依据过去大量编辑记录自动消除差异，记忆连续性就可能与当前判断发生冲突。系统记住了过去，却没有充分承接改变。

合理的处理不是删除全部历史，也不是让当前一句话抹去所有责任。可以保留旧规则何时有效、新规则为何形成，以及哪些正在进行的项目仍按旧约定处理。这样，历史成为理解变化的材料，而不是一个永久压住当前选择的主体替身。

这一情形还涉及使用者是否真正理解变化。有时系统建议非常有说服力，使用者只是顺着同意，却尚未形成自己的判断。本书不能据此直接宣布受到操纵，也不能只因点击确认就认定完全自主。可以通过让使用者解释新目标、比较替代办法、保留反悔与试行范围，增加其实际参与判断的机会。

试行尤其有价值。顾宁可以先在一个获准项目中采用新规则，比较它如何改变交付，再决定是否扩展。试行结果可能支持新方法，也可能揭示新的问题。复合主体不是不断加深对同一工具的忠诚，而是在与工具的持续互动中增加发现失效和改变安排的能力。

如果系统无法区分临时试行与长期原则，应当明确降低对它的委托程度。使用者不必因某项功能不够成熟就放弃全部工具，也不能因其他功能很好就忽略这项风险。复合能力可以分项形成，边界也可以随任务调整，不需要等待一个全能、完美的个人系统才开始研究。

九、复合能力的检验，不应只做一次撤掉工具的考试

用撤去AI以后的表现判断学习，能够观察某些能力是否进入了个人的自然人部分，但不能概括全部复合能力。如果任务本来依赖检索、计算与记录，突然取消所有工具再比较，可能改变了原来的能力单位。不能以这种变化直接断言此前发生的能力都是幻觉。

更丰富的检验可以分成几类：保留工具而更换问题，查看能否识别条件变化；保留任务而替换某个组件，查看能否说明缺失和重建方法；给出一个工具失效情形，查看能否发现错误而非继续照办；暂停某一项委托，查看是否仍能在有限范围维持工作。每一类只回答自己的问题。

例如顾宁不必独自记住所有来源，却应能够辨认一条未经核验的引文不能被当作证据；不必亲手执行每个格式操作，却应能够判断批量处理是否破坏作者原意。这里检验的是复合体中的判断与修正，而不是要求自然人重新成为所有操作的唯一承担者。

同时，若使用者完全无法解释工具给出的任何理由，也不能发现明显违背目标的结果，就不能只凭最终产出高质量宣称主体性已经增强。需要追踪能力分配是否有可理解的结构，关键责任是否有人承接，失效是否能进入下一轮修改。工具做得多与我发生得多，不存在无需论证的等号。

十、复合主体不是一个已经贴好的身份标签

到这里，我们可以提出一种有待检验的工作性判断：当人和AI在持续的显露、差异序列与特征纠缠中形成可修正的能力组织，当个人对重要目标、开放与修订具有实际位置，且这种位置能够进入服务责任与退出安排时，讨论复合主体就有了具体对象。这个判断不以自然人单独完成全部计算为条件，也不把任何一次工具调用都升级成复合主体的诞生。

它仍然会遇到反例。一个系统也许能很好地执行用户规则，却缺乏长期连续性；另一个系统具有强记忆，却经常替用户固定目标；还有一种系统内部非常个性化，对外却不允许用户拒绝特定使用。这些情况不能用一个总分掩盖。需要逐项指出哪些能力已经发生，哪些结构仍然缺失，哪些位置尚未成立。

对本书而言，最重要的推进是：隐私保护不能被限制在“人不使用AI时的独处”，也不能被“AI已经是我的一部分”这一句称呼取代。保护应当进入复合发生的实际组织，支持我借助工具继续形成自己的问题、方法和判断，而不以向外部交出全部发生为代价。

顾宁最终是否成为更好的编辑，不由系统保存了多少条偏好决定，也不由“复合主体”这个名称决定。我们需要看他能否辨认失效、修订约束、改进服务，并保有适当的拒绝位置。下一章因此转向失败。不是每次失败都应成为永久标签，但若失败永远不能进入下一次发生，主体性的连续性也会失去实质内容。