论文
CARE：医学因果对齐推理探索 大语言模型
CARE: Causally-Aligned Reasoning Exploration for Medical Large Language Models
摘要
大语言模型 (LLM) 在医学推理方面显示出强大的潜力，但专家注释数据的稀缺性和成本限制了其进展。虽然强化学习提供了一种可扩展的替代方案，但医学中基于结果的标准方法经常遭受自回归信用分配失败和梯度方差爆炸的困扰。这导致了“正确答案，错误原因”陷阱，其中模型无意中强化了虚假相关性和数据集快捷方式，而不是有效的临床推论。在这项工作中，我们提出了因果对齐推理探索（CARE），这是一种用于内在体验管理的理论框架。 CARE 建立在高质量训练轨迹的两个严格条件之上：因果充分性，利用基于协议的自我验证机制来模拟 $do$ 微积分干预并有效消除梯度偏差；近端可学习性，它采用动态熵界来选择模型的近端开发区域内的经验，以进行方差有界优化。这些经过严格过滤的体验通过双流目标进行优化，该目标将 同策略 组相关探索与难度加权的体验重放相结合。对各种医学多模式和纯文本基准的广泛实验表明，CARE 始终优于其他强大的竞争对手，大大减少了正确但不一致的推理并提高了训练稳定性。