论文

前沿财务判断:智能体能否判断什么可能会影响股票?

Frontier Financial Judgement: Can agents tell what might move a stock?

模型评测基准与评测资源

摘要

我们推出前沿财务判断,这是与专业股票分析师合作开发的一项具有挑战性的新基准,用于评估代理商复制专家判断的能力。快速识别新信息、评估其影响并确定其估值影响是现实世界股票报道中最耗时且最具挑战性的方面之一。随着人工智能迅速增加需要处理的新信息的数量,这变得越来越困难和重要。我们在 Frontier Financial Judgement 上评估的最强智能体仅在 52.4% 的情况下与所有专家标签相匹配。我们还发现前沿代理之间的估计假阳性率存在显着差异,范围从 GPT-5.6 Sol 的约 1% 到 Claude Sonnet 4.6 的约 32%。为了构建基准并使其代表现实世界的环境,我们将人工设计和标记的合成文章与实时新闻文章和历史文档结合起来,创建了 656 个评估项目。由此产生的任务要求智能体在现实条件下将真正新的、与估值相关的财务信息与陈旧的、无关紧要的或误导性的新闻区分开来。我们发现代理准确性、成本、误报和可靠性之间存在巨大的权衡,这些权衡继续阻碍新闻流过滤在实践中的可靠部署。