论文
SimpleWikiSearch:用于代理搜索的干净的离线维基百科环境
SimpleWikiSearch: A Clean Offline Wikipedia Environment for Agentic Search
摘要
基于 大语言模型 (LLM) 的代理搜索系统通常被评估为底层 LLM 是唯一重要的组件,但它们的测量性能还取决于周围的搜索环境:维基百科快照、预处理管道、分块策略、检索后端、工具模式、观察格式和答案提交规则。这些细节往往未明确说明,因此很难比较结果或重现报告的基线。我们提出了 SimpleWikiSearch,其语料库构建、检索堆栈、工具契约和评估协议都是明确且可运行的。该环境从完整的英语维基百科转储开始,清理和分块语料库,构建关键字和密集检索索引,并公开由 \texttt{search}、\texttt{open\_url} 和 \texttt{submit\_answer} 组成的最小工具界面。我们使用开源 LLM 报告六个 QA 数据集的基线结果,并提供随机 300 个子集用于与闭源商业模型进行比较。 SimpleWikiSearch 提供了特定于域的代理工具和受控的离线环境,用于可重复的代理搜索评估。它的贡献是这个指定的参考设置,而不是新的代理算法。代码和数据可在以下网址获取:https://github.com/JimXiongGM/simple_wiki_search。