迈向稳健的内生推理：统一非平稳调整中的漂移适应

强化 微调 (RFT) 已成为多模式 大语言模型 (MLLM) 与复杂的人类价值观和特定领域要求相结合的关键范例。然而，当前的研究主要集中在减轻以数据为中心的因素引起的外生分布变化，内生推理固有的非平稳性在很大程度上仍未得到探索。在这项工作中，MLLM 中揭示了一个关键漏洞：它们非常容易受到思维和感知角度的内生推理漂移的影响。它表现为在自回归生成过程中自发出现的不可预测的分布变化，独立于外部环境扰动。为了适应它，我们首先从理论上将 MLLM 的 RFT 内的内生推理漂移定义为多模态概念漂移。在此背景下，本文提出了Counterfactual Preference Optimization ++（CPO++），这是一个适应多模态概念漂移的综合自治框架。它将反事实推理与领域知识相结合，在思维和感知之间执行受控扰动，利用偏好优化来理清虚假相关性。对两个高度动态且安全关键的领域进行了广泛的实证评估：医疗诊断和自动驾驶。他们证明，所提出的框架在推理一致性、决策精度和针对极端干扰的固有鲁棒性方面实现了卓越的性能。该方法还表现出出色的零样本跨域泛化能力，为安全关键型应用中可靠的多模态推理提供了原则基础。