第13章 不收敛的分类与数学边界

13.1 同一个词遮住的四个问题

一串读数没有逐次靠近某个固定值，一种估计在增加样本后仍然不稳定，一组参数不能由资料唯一恢复，一个模型换了环境便失去准确性，日常语言都可能称之为不收敛。然而这些现象指向不同数学对象，具有不同失败条件，也需要不同修复。若不先作区分，研究者可能用更多样本解决不了结构辨识问题，也可能把本来正常的随机波动误认为估计方法失效。

第一个问题是读数本身怎样随时间变化。室温围绕一个范围波动，市场价格连续改变，评分受到前史影响，都属于观测过程的行为。第二个问题是估计量怎样随资料增加变化。即使单次读数一直有随机性，样本平均仍可能越来越接近一个稳定目标。第三个问题是辨识：允许取得的资料是否能够区分不同机制或参数。第四个问题是迁移：在原条件中有效的模型，能否在新的条件、任务或干预下继续成立。四者能够相互影响，但不能相互定义。

一个简单例子足以揭示第一种混淆。反复独立掷一枚理想硬币，单次结果不会随着次数增加而变成某个中间值；它仍然在两种结果中出现。但正面频率可以趋近其概率。单次输出的持续分散与估计量的一致性完全可以共存。若把输出必须逐次接近常数设为测量成功标准，就会排除大量正常的概率知识。科学可以精确描述分布，而不要求每个事件给出同一个数。

辨识则涉及另一种困难。若只能看到两个未知贡献之和，那么总和可能十分稳定，两个贡献却未必能分别恢复。更多同类观测能够提高总和的精度，却不能自动增加关于分解的信息。此时问题不在噪声过大，而在资料与目标之间缺少区分约束。改变观察或实验输入可能有用，继续重复同一个操作则可能只让一个不完整答案变得更精确。

迁移失败也有不同逻辑。一个模型在固定人群、固定规则下预测良好，换到新规则后误差增大，并不说明原模型在原条件下没有知识。它说明原知识的适用范围受到限制。研究者需要进一步判断限制来自参数变化、目标改变、信息不足还是模型结构遗漏。把任何迁移失败都称为常数不存在，会丢失最有建设性的部分：哪些关系仍然稳定，哪些条件必须重新进入模型。

本书所说的病理因此应落实为某种持续错配。例如一个制度明知目标已经改变，仍强迫所有结果服从旧摘要；一个模型反复产生有方向的错误，却没有相应修订规则；一个研究把无法辨识的成分当作已经单独测得。这些是具体的认识和制度问题。随机分散、条件稳定甚至长期波动本身，都不能未经任务说明便被诊断为病态。

13.2 稳定分布为什么容许持续散布

在一个最简单的模型中，观测等于固定目标与随机误差之和。若误差相互独立、均值为零并具有相同的有限方差，样本平均的期望等于目标，方差随样本数增加而下降。这里的数学关系说明，单次误差不会因为测量重复而消失，但汇总对共同目标的估计会改善。为了清楚呈现论证，以下模型均为本书构造的形式例子，不对应某项已经执行的实验。公式中的期望算子表示数学期望，与SDE中的特征纠缠E不同。

$$Y_i=\mu+\varepsilon_i,\qquad \mathbb{E}(\varepsilon_i)=0,\qquad \operatorname{Var}(\varepsilon_i)=\sigma^2.$$

$$\mathbb{E}(\overline Y_n)=\mu,\qquad \operatorname{Var}(\overline Y_n)=\frac{\sigma^2}{n}.$$

由切比雪夫不等式，对任意正的容许误差，平均数偏离目标超过该误差的概率不大于方差除以容许误差的平方。随着样本增加，这个上界趋近零。这个结论依赖所写前提，并不宣称所有真实序列都适用；它证明的是持续散布并不妨碍一致估计，因而足以否决从“每次读数不同”直接推出“无法得到稳定知识”的逻辑。

独立性也不是稳定估计的唯一道路。对于有时间依赖的序列，平均数方差还包含不同时点之间的协方差。若相关持续很久，同样数量的观测可能只提供较少独立信息；若相关以适当方式衰减，平均仍可能集中。关键不是是否看见任何自相关，而是依赖怎样影响目标估计。一个固定的自相关阈值无法承担所有样本长度和任务中的判断。

$$\operatorname{Var}(\overline Y_n)=\frac{1}{n^2}\sum_{i=1}^{n}\sum_{j=1}^{n}\operatorname{Cov}(Y_i,Y_j).$$

这个公式还有一个重要含义：收集频率提高不等于有效信息按相同比例增加。若连续读数几乎复制同一状态，增加采样点主要改善时间分辨率，未必同样改善长期平均的精度。反过来，不能为了追求独立而任意稀疏采样，因为快速机制可能恰好需要密集轨迹。设计应分别考虑过程辨认与目标估计，而不是用一个样本数概括全部信息。

双峰分布也不必破坏这种稳定性。设某种结果来自两个稳定成分，每次独立地按固定概率选择其中一个。总体可以有两个峰，但仍拥有稳定均值和方差，样本平均也可以收敛。双峰说明单一中心不能完整表达分布，却不意味着概率结构不存在，更不意味着观测不独立。只有当混合比例、成分位置或产生机制随条件改变，才需要进一步研究相应的非平稳性与迁移问题。

这个协方差表达式也给出不能靠加密观测消除的不确定性。设想每次读数含有同一个随机校准偏移，另加相互独立、方差相同且有限的零均值噪声；共享偏移与这些噪声独立且方差有限。平均以后，独立噪声的方差随次数下降，共享偏移的方差却保留。因此样本均值可以越来越稳定地指向带偏移的值，却不能仅靠这批重复消除相对于原目标的不确定性。增加一个独立校准条件与增加一千次相同读数，提供的是不同信息。统计判据的建设性作用正在这里：从协方差怎样进入误差，推导下一步需要更长观测、独立批次还是新的参考约束。

13.3 不可辨识究竟阻止什么

辨识是一个相对于目标和设计的概念。设模型参数为一组未知量，允许的观察安排已经规定，每个参数值都诱导一种可观测资料的概率分布。若两个不同参数始终产生完全相同的可观测分布，研究者便无法仅凭这些资料判断哪一个成立。但这还不足以说明所有目标都无法估计：如果所关心的目标在这两个参数下相同，它仍可能被识别。辨识限制必须指向具体目标，而不能只对模型整体作模糊宣布。

$$P_{\theta,d}=P_{\theta',d},\qquad \psi(\theta)\ne\psi(\theta').$$

这里的设计符号代表输入、观察通道、时段和取得程序；目标函数表示研究真正想知道的量。若只在一个固定设计下得到分布相同，结论也只限于该设计；要对整套允许安排宣称不可辨识，必须证明其中每种安排都不能区分这两个目标。结构可辨识研究正是围绕输入输出关系与内部结构的区分展开，不能由输出通道数量替代。[18] 参数模型的辨识理论还有各自的正则条件和局部、全局区分，本书不把某个局部判准推广为全部模型的定理。[19]

可以严格证明一个有限但重要的结论。假定两种参数在每一种可得样本长度上都给出相同资料分布，而目标值不同。取两目标距离的三分之一为正数。若某个估计程序在第一种参数下依概率趋近第一个目标，那么它进入该目标小邻域的概率应趋近一；若同一程序在第二种参数下也一致，就应以趋近一的概率进入第二个目标的小邻域。两个邻域不相交，而资料分布完全相同，两个事件的概率不可能同时趋近一。于是不存在对两种参数都正确的一致估计程序。

$$\delta=\frac{|\psi(\theta)-\psi(\theta')|}{3}>0.$$

$$A_n=\{|T_n-\psi(\theta)|<\delta\},\qquad B_n=\{|T_n-\psi(\theta')|<\delta\},\qquad A_n\cap B_n=\varnothing.$$

证明约束的是“对不同真目标同时一致恢复”的可能性。它没有说估计程序不会收敛；程序完全可以稳定收敛到一个约定值，只是不能保证在两种模型下都正确。它也没有说原始输出一定波动。一个不可辨识模型可以持续产生恒定输出。这种区分尤其重要，因为把不可辨识描述成数值永远散开，会把认识限制误写为对象的动态性质。

例如只观察两个未知常数之和，所有总和为一的参数对都给出恒为一的输出。若目标是总和，已经完全知道；若目标是第一个贡献，则现有资料不足。增加对总和的重复观察不能改变这个结构，除非新观察或干预提供了独立约束。这里的正确修复可能是改变输入、单独校准一个成分，或者承认只报告可辨识组合。强行报告两个精确成分，才是认识上的错配。

13.4 单一通道可以包含多个约束

“输入多路而输出单一”听起来像必然的信息不足，但单一通道并不等于只有一个数。一个通道在不同时间、不同输入下可以产生多个独立约束。若已知输出由两个不同衰减模式组成，观察其时间轨迹就可能分别识别两个系数。关键在于模式是否可区分、观察时段是否足够、模型形式是否正确，以及噪声是否允许实际恢复。

$$y(t)=a e^{-t}+b e^{-2t}.$$

在理想无噪声条件下，初始值给出两系数之和，初始斜率给出它们的另一个线性组合。由这两个关系可以直接解出系数。也可以取两个适当时点的读数求解，不必真的对带噪资料求导。这个例子不证明所有单通道系统都可辨识，却证明通道数不能单独充当不可辨识定理的前提。

$$y(0)=a+b,\qquad y'(0)=-a-2b.$$

$$a=2y(0)+y'(0),\qquad b=-y(0)-y'(0).$$

回路同样不能自动破坏可观测性。考虑三个连续状态构成的循环系统，每个状态受到自身衰减和下一状态影响，只观察第一个状态。以下系数固定且已知，目的在于研究状态能否由轨迹恢复，而非估计未知系数。

$$\dot x_1=-2x_1+x_2,\qquad \dot x_2=-2x_2+x_3,\qquad \dot x_3=-2x_3+x_1,\qquad y=x_1.$$

从第一式可得第二状态等于输出导数加上两倍输出，再从第二式得到第三状态。因而理想轨迹包含全部三个状态的信息。系统有闭合循环，却不妨碍这种恢复。动态可观测性需要研究状态与观测轨迹的对应，相关理论也不是只数瞬时出口。[20]

$$x_2=\dot y+2y,\qquad x_3=\ddot y+4\dot y+4y.$$

这个系统还会稳定趋近零。取三个状态平方和的一半作为非负函数，对时间求导，得到负的平方和项与相邻状态乘积之和。利用每个乘积不大于对应平方和的一半，可以得到该函数的导数不大于其负二倍，故它指数衰减。输出和全部状态随之趋近零。这里同时存在多状态、循环回写、单一输出、可观测性和稳定收敛，足以否决由前三者直接推出必不收敛的充分性声称。

$$V=\frac12(x_1^2+x_2^2+x_3^2),\qquad \dot V=-2\sum_{i=1}^{3}x_i^2+x_1x_2+x_2x_3+x_3x_1\le-2V.$$

形式反例不等于关于真实SDE发生的经验裁决。它所做的是限定推理：如果某个概念命题声称仅凭这些结构条件便推出数学结论，那么一个满足条件却违反结论的模型已经足以否决该推导。接下来可以增加关于非线性、更新、时滞或观察映射的具体条件，但新增条件必须独立说明，不能事后把所有稳定系统重新命名为没有真正回写。

13.5 条件改变何时使固定预测必然失败

虽然纠缠不能自动推出不收敛，但错误恒定化仍然可以受到严格批评。假定两种情境下目标均值相差超过两倍允许误差，而一个模型对两种情境必须给出同一个预测，那么它不可能同时在两边达标。这是一个简单而明确的条件结论。它不需要先证明世界不存在常数，也不需要把参数辨识与动态波动混在一起。

$$|\mu_1-\mu_2|>2\varepsilon.$$

若同一预测值在两种情境中的绝对误差都不超过容许值，三角不等式就会推出两个真实均值之间的距离不超过两倍容许值，与前提矛盾。因此至少一个情境的预测必须失败。这一证明说明，把实际重要的情境差异排除在模型输入之外，会产生无法通过继续拟合同一个常数消除的损失。

$$|\mu_1-k|\le\varepsilon,\quad |\mu_2-k|\le\varepsilon\ \Longrightarrow\ |\mu_1-\mu_2|\le2\varepsilon.$$

这个结论的力量来自限制清楚。它针对同值预测模型，不针对所有输出一个标量的模型。一个标量预测函数完全可以读取不同情境并给出不同数值，也可以通过状态摘要反映历史。不能因为最终输出仍是一个数，就将它归为已经被证明失败的模型类。发生学真正要批评的是错误地删除决定性条件，而不是数字形式本身。

实际研究还需要承担均值未知的问题。研究者看到的是有限样本，不是真实均值；必须考虑估计不确定性，才能判断差异是否确实超过用途所允许的范围。即使差异在统计上可检出，也可能太小而不影响行动；反之，一个可能造成重大损失的差异，即便暂时证据不足，也值得改进设计。容许误差应根据任务确定，不能在观察差异以后再选择恰好支持理论的门槛。

同值预测的失败也不直接指向某个新机制。条件差异可能来自材料、样本、已知适应或制度规则，SDE框架需要提出额外的区分性问题，才能获得独立经验内容。它可以帮助定位哪些条件在原模型中被省略，组织回写假说和新观察，但不能把证明固定常数失效当作证明自己的唯一性。竞争模型若已经读取这些条件并成功预测，也应得到承认。

这条条件结论仍有重要建设性意义。它把“需要保留发生条件”转化为一个可讨论的误差问题：哪些条件差异大到使当前摘要不能同时服务多个情境，增加哪项信息可以恢复任务表现，恢复需要多少代价。答案可能是扩充模型，也可能是缩小用途，或者分别保留两个条件常数。不同修复各有合理性，不必强迫所有案例以同一种理论姿态收场。

13.6 四类分布变化及其解释距离

当研究者确认差异值得继续分析，可以先从四类可描述变化入手：中心漂移、尺度变动、响应方向翻转和分布分裂。这四类不是四种必然机制，而是对数据问题的组织。它们可以同时出现，也可以随观察尺度改变。分类的价值在于明确接下来需要解释什么，而不在于给每一种形状预先分配一个SDE原因。

中心漂移表示分布位置随时间或条件改变。它可能来自对象状态变化，也可能来自仪器基线、量表使用、样本构成或分析版本。首先需要检查漂移发生在哪一层：原始指示已经改变，还是校正以后才改变；同一对象内部改变，还是进入样本的人不同。只有把这些来源分开，研究者才能提出某种跨轮更新如何推动中心移动。否则，一条平滑趋势很容易承载比资料多得多的故事。

尺度变动表示散布大小改变，即使均值可能保持不变。它可以反映响应异质性增大，也可以来自测量精度变化或条件混合。去趋势残差的均值通常接近零，因此用其标准差除以均值构造变异系数，可能无定义或极不稳定。应根据量表性质使用原单位尺度、可靠参考尺度或明确模型中的方差参数。标准化本身也是选择，必须说明分母代表什么，不能让一个看似无量纲的指标隐藏新的不稳定。

响应方向翻转关心某种条件变化的作用方向。它比一般散布更接近机制问题，但仍需区分整体与分层。不同群体比例改变，可能使总体方向与组内方向不同；基线不同、上限效应或量表变换，也可能改变表面关系。研究者应先确定比较是否在相同目标和条件下进行，再判断是否存在真实的机制转换。方向性预测特别有价值，因为它较难被任意幅度调整吸收，但失败必须按事前规定记录。

分布分裂则指单一中心不足以描述资料，可能出现多个集中区域。Hartigan的dip检验针对单峰性，拒绝单峰并不确定恰有两个峰，也不识别峰背后的状态机制。[21] 若要讨论双稳态，还需证明系统具有不同稳定状态及相应的转移和恢复特征，不能仅凭一张直方图。固定人群混合、阈值化响应和非线性观察都可能产生类似形状，需要通过轨迹与干预继续区分。

自相关、分组差、交互项和形状检验因此都适合作为寻找机制的入口。NIST关于自相关图的说明强调时间依赖与模型检查，并以样本量相关的置信带表达不确定性。[22] 这些工具不直接告诉研究者回写发生在哪条通道。形状与机制之间的距离不是方法缺陷，而是研究需要承担的工作：从描述进入可区分解释，再用新的资料缩小解释集合。

13.7 理想可解与实际可测之间

形式上可辨识不等于实际资料足以精确估计。两个参数可能在理论上产生不同分布，但差异小到现有样本和测量精度难以分辨；两个时间模式可能足够独立，却在实际观察窗口内几乎重合。此时增加资料、改善精度或改变设计可能有帮助。它与结构不可辨识不同：后者在规定资料集合中根本没有区分信息，前者有信息却不足以支持所需精度。

前述通过输出导数恢复状态的例子尤其说明这一点。理想轨迹上的求导关系严格成立，带噪观测的直接差分却可能放大高频误差。采用平滑、状态估计或更合适的观测设计，可以改善数值表现，但每种方法引入新的假设与偏差。这种实践困难不应被用来抹去形式反例，也不能因形式反例成立便轻视实际困难。两层问题需要分别报告，才能找到正确修复。

模型形式已知也是强前提。若输出中的衰减率同样未知，或者存在未记录的外部输入，原先对系数的简单恢复可能不再成立。辨识不是对象永久拥有或缺乏的一种性质，而是目标、模型类和设计共同决定的关系。研究者每次改变允许模型，都应重新审查辨识。一个过于狭窄模型中的唯一答案，可能只是排除了真实竞争解释；一个无限宽泛模型中的不可辨识，也可能不能指导任何具体行动。

前述两个衰减模式能够说明实际精度怎样限制理想可解。若两个读数时点非常接近，两种模式在该小窗口内产生的变化也接近，解方程时便需要用一个很小的差异区分系数；读数中很小的扰动可能被放大为很大的系数变化。把第二个时点适当移远，可以增加模式差异；移得过远又可能使信号衰减到噪声附近。设计因此需要在可区分变化与可测信号之间选取窗口。单纯增加相邻读数，可能远不如补充一个有区分力的时点。

负结果同样需要精度说明。未检出某个效应，不等于效应为零；但也不能永远以样本不足保护理论。研究者可以报告当前资料能够排除多大范围的效应，以及剩余范围是否足以改变用途。若多次适当设计都把可能增益压到实践上无关的范围，继续维持强机制声称便缺少理由。退出不是等待绝对证明不存在，而是在明确任务和证据标准下接受足够有约束力的失败。

实际可测性的判断应把目标精度带回设计。若用途只要求预测输出，两个系数各自区间很宽未必妨碍任务；若用途要求单独改变某个内部成分，同样精度便可能不足。研究者可以先考察与现有资料相容的参数集合，再检查它们对目标操作的预测是否接近。预测仍接近时，可以报告内部机制未定而任务判断可用；预测分散时，则应把下一轮观测放到这些模型产生最大分歧且能够可靠测量的位置。形式可解因而被转换为有限资源下的取得顺序。

辨识还可以随干预集合改变。设两种机制在自然观察中总是给出同一结果，但它们对某个可实行输入的反应不同，那么观察等价不再意味着干预等价。研究者此时有理由把资源用于改变输入，而不是无限延长原序列。相反，如果所有允许干预下两种机制仍然等价，那么当前研究只能报告共同可知的部分。这种结论并不要求在两种机制之间强选一个，也不阻止依据它们共同支持的预测采取行动。

一个明确构造的例子是两个成分始终随同一个温度一起变化，只观察总响应时难以分别估计。若存在只改变其中一个成分的独立操作，新增实验就可能拆开原有关系；若所谓独立操作同时改变两个成分，研究者必须把这种作用写入模型，不能仅凭操作名称宣布辨识完成。实验之所以增加知识，在于它改变了可观察关系，而非因为它比观察研究在形式上更像实验。控制是否成功，本身需要材料支持。

模型之间的等价也未必是研究失败。在某些工程任务中，多种内部解释对全部相关操作给出相同预测，当前目的可能只要求选择一个便于维护的表达。此时应承认机制未定，同时保留任务层面的可靠性。只有当用途改变、需要判断新的干预或责任归属时，原先可以搁置的内部差异才重新重要。辨识目标随任务而变，正说明不能把一个笼统的可辨识标签贴在系统上永久使用。

还应区分状态可观测与参数可辨识。第13.4节循环系统的系数已经给定，输出导数恢复的是当前三个状态；若把衰减系数和耦合系数也都当作未知量，原推导不会自动证明这些系数可唯一估计。此时需要重新列出不同参数与初始状态可能产生的轨迹，并检查新增输入是否拆开这种等价。研究报告应明确哪些量经过外部校准，哪些由当前数据估计。否则，把已知系数的状态恢复结果称为未知机制已被识别，就会在数学结论与实际声称之间漏掉一层证明。

13.8 让边界成为理论的生产条件

经过这些区分，不收敛不再是一个可以覆盖所有异常的总称。原始输出可能不稳定而分布稳定，目标可能可估计而内部成分不可辨识，机制可能有回路而整体收敛，局部模型可能准确而迁移失败。每种组合都提出不同研究任务。数学边界的作用，是让这些任务不被一个宏大判断提前终结。

对具体研究，可以沿目标建立一条诊断次序。先确认讨论的是观测轨迹、估计程序、内部目标还是跨条件预测，再规定允许资料与误差范围；随后检查当前失败是否由共同偏移、观察等价或条件删除造成。这一次序把问题送向不同修复：共同偏移需要独立参考，观察等价需要新增约束，条件删除需要扩充输入或缩小用途。稳定性的发生由此进入可计算关系，而不是只用“复杂”概括困难。

这些修复之间仍有连接。新增观察通道可能打破原有等价，也可能带来额外误差；扩充条件可以降低同值预测的必然损失，却会增加有限样本估计的负担。因而数学诊断不能在宣布“有解”时结束，还应说明改善哪项限制、引入什么新限制。例如给两个未知贡献分别加传感器，形式上增加了约束；若两传感器共享未知校准源，原来的和问题可能只是转成了新的偏差分解问题。每次改动都需要重做目标与观察关系，而非沿用上一次可辨识结论。

真正有力量的理论愿意说明自己禁止什么。若允许任何分布、任何方向、任何稳定性都被解释成同一种纠缠，那么它只能提供语言组织，不能独自承担经验裁决。语言组织可以有哲学价值，但若进一步声称发现了机制，就必须写出哪些结果不应出现、哪些干预会改变路径、哪些条件下应退出。数学与经验在这里共同把研究从解释的无限可能引向有限而可积累的知识。

本章取得的结果是有条件的：独立零均值且具有相同有限方差的误差下，均值可以一致估计；观察等价可以阻止特定目标恢复；单通道循环系统仍可稳定且可观测；删除足够大的条件差异则使同值预测必然失配。这些结果共同限制了“不收敛”的使用。它们还没有回答过去的读数是否造成未来变化：历史依赖可能只是状态延续，也可能经过信息和行动形成通道。第14章由此进入因果辨识，将能够描述的时间结构进一步转成可干预的关系。