SANA：海量数据湖对 QA 代理来说最重要的是什么？

通过数据湖进行探索性问答 (EQA) 需要 LLM 代理来发现相关源、分析检索到的数据并根据中间结果调整其操作。仅端到端的准确性无法区分搜索、规划、数据分析或代理的行动策略中的失败：它决定下一步做什么以及何时提交答案。我们提出了 SANA（搜索代理导航消融框架），这是一种诊断消融框架，可将 EQA 任务转换为包含标准来源序列、经过净化的子问题和执行记录的运行时配置文件。 SANA 使用这些配置文件来构建理想化的搜索、规划和数据分析工具，从而允许消除每个组件；剩余差距是政策失败的诊断证据。为了说明 SANA 作为可重用的评估框架，我们采用了两个最新的 EQA 基准 LakeQA 和 KramaBench，并在固定提示、预算、数据湖和运行时下评估轻量级和中型代理。在这两个基准测试中，数据分析始终是一个瓶颈，而规划则不然。搜索是 LakeQA 大型数据湖设置的一个主要限制，但对于较小规模的 KramaBench 来说，情况就不那么严重了。因此，SANA 将端到端任务准确性解构为数据湖代理失败的诊断，并允许对搜索、规划、数据分析和代理设计的进度进行系统比较。