SearchAtlas：通过证据查询图分析代理搜索策略

LLM 搜索代理通常根据最终答案的准确性进行评估，而忽略了整个过程。分析搜索策略需要了解如何检索可信证据来解决问题限制。这些有价值的信息隐藏在漫长且难以解析的原始搜索轨迹中。我们引入了 SearchAtlas，这是一个将搜索轨迹转换为结构化图的框架，其边缘表示证据如何在推理轨迹上传播，从检索证据的查询到最终答案。我们的自动解析管道相对于人工注释的图表实现了 86.0% 的平均边缘 F1，并且在重复运行中保持一致。我们在三个基准上分析了五种搜索代理，揭示了搜索规模和证据聚合的系统差异。 SearchAtlas 暴露了支离破碎的答案支持、未达到答案的问题约束以及进入响应的未经验证的参数知识。这些过程失败与错误答案密切相关，甚至比给定原始轨迹或有序查询列表的 LLM 判断更紧密，这表明构建的图提供了有用的可解释性。此外，对过程诊断分数与最终答案正确性不一致的案例的审核表明，它们捕获的信息无法简化为答案准确性。