E2A-Bench：财务图表推理中证据到行动可靠性的基准测试

摘要

金融视觉语言模型 (VLM) 能否将图表证据转化为可靠的行动建议？现有的幻觉评估大多以主张为中心；他们评估生成的陈述是否得到支持，但不评估证据是否仍然可以通过理由、信心和最终行动来追踪。我们引入了 E2A-Bench，这是一个用于金融图表推理的 969 条查询基准，由 323 个 HS300 成分股在三种输入模式下构建，具有确定性的 OHLCV 衍生证据锚。 E2A-Bench 通过 UCR、RCI、ECI 和 NDR 评估基础、推理行动一致性、证据置信度校准和定向覆盖，其中 NDR 衡量覆盖感知证据到行动的可靠性，而不是实现的交易绩效。评估 20 个 VLM 揭示了标量幻觉分数隐藏的三个失败：最低 UCR 模型在 NDR 中排名接近底部，因为方向覆盖率仅为 6.4%；预言机辅助验证减少了无依据的主张，但可能会导致覆盖范围崩溃；在严格的基础微调货币对中，财务微调将买入：卖出比率放大了 4.21 至 4.68 倍。这些结果表明，财务 VLM 评估应该追踪完整的证据到行动链，而不是依赖于单一的幻觉分数。代码和数据：https://github.com/wanng-ide/E2A-Bench