DA-CoT：按注意力熵选择是否思考，失败时反向切换推理策略

摘要

思维链（CoT）提示已成为多模态大语言模型（MLLMs）中的标准推理策略，在推理分割等复杂视觉语言任务中表现出强大的性能。然而，我们的分析表明，不加区别地使用 CoT 可能会引发不必要的推理，从而导致性能下降，这种现象我们称之为过度思考。在推理分割中，过度思考往往会导致查询意图与视觉定位之间的不一致。为了解决这个问题，我们提出了难度感知思维链（DA-CoT），这是一种无需训练的自适应框架，可以根据输入的内在难度有选择地触发 CoT。我们发现模型注意力图的熵可靠地反映了任务难度：低熵表明置信度高且集中的视觉定位，而高熵表明模型不确定，可能从CoT中获益。 DA-CoT 使用该熵信号来确定是否应用 CoT 提示。此外，我们引入了双向再思考机制，使模型能够在初始输出失败时自动翻转其推理决策，通过从过度思考和思考不足引起的失败中恢复来增强鲁棒性。 DA-CoT 通过在推理分割基准上实现最先进的性能，同时显着提高推理效率，展示了其有效性。

DA-CoT：按注意力熵选择是否思考，失败时反向切换推理策略：论文配图 — 图4：DA-CoT框架在推理阶段的概览。先在预先确定的层集合ℒ上计算聚合注意力熵ℋagg，再据此自适应决定是否触发CoT推理。若ℋagg≥τ，模型采用包含CoT的难度感知提示路径进行结构化推理；否则沿无CoT的直接路径高效推断。当初始推理路径未产生有效输出时，离散翻转信号激活双向再思考路径，重新评估并从过度思考或思考不足中恢复。最终边界框或点提示传入分割头，产生推理感知的分割结果。