当文本和数字不一致时：大语言模型 中的证据仲裁

大语言模型 (LLM) 越来越多地用于文本摘要、数值观察和外部工具输出可能提供相互矛盾的证据的环境中。我们研究了当这些来源支持相反的决定时，LLM 如何在这些来源之间进行仲裁。为此，我们引入了一种受控综合基准，其中潜在风险轨迹生成数值时间序列和自然语言摘要，使我们能够构建冲突，其中只有一个证据源与 真值 标签一致。这种设计让我们能够独立地操纵模态、时间新近度、来源可靠性和证据来源。在开放权重指令调整模型中，我们发现仲裁行为是系统性的而不是随机的：模型表现出不同的文本与数字偏好，比明确的可靠性线索更一致地遵循时间新近度，并且即使在与直接上下文证据冲突时也可能过度依赖外部预测。这些结果表明，当前的 LLM 在集成异构证据时通常依赖于启发式仲裁策略，突出了工具增强决策系统的失败模式。