BlindToChange：评测Agent能否主动发现未被提及的现实变化

鉴于人工智能代理可以广泛而深入地实时搜索网络，人们很容易得出这样的结论：它们的输出已考虑近期现实事件。我们证明这个结论在实践中并不成立。虽然代理可以搜索并轻松找到最近的更改，但他们响应的正确性取决于他们是否搜索以及搜索的内容。流行的 Agentic 搜索基准（例如 BrowseComp）无法暴露故障，其中代理无法识别自己应该验证的假设，因为这些基准明确说明了需要找到的内容。相比之下，许多用户请求仅说明最终信息需求（例如旅行行程），让代理发现相关变化（例如博物馆暂时关闭）并考虑其后果。为了突出这些差距，我们引入了 BlindToChange，这是一个衡量代理是否主动发现影响其响应的近期事件的基准。我们的基准包括提出建议的请求，其中明显的候选者由于最近的现实世界事件而不再适用。这些事件是从 Wikidata 自动提取的，允许 BlindToChange 定期刷新。引人注目的是，我们发现，与直接询问最近发生的事件相比，没有明确提及最近的事件时，系统性能存在很大差距，即使在较高的推理能力下，系统性能也有高达27.5个百分点的差距。通过分析搜索轨迹，我们了解到超过一半的失败可归因于代理不直接搜索以验证相关事实是否已更改。我们的基准测试强调并跟踪了一个新的进展轴，其中系统考虑了用户请求中未明确提及的最新信息。