论文
UIS-Digger:迈向面向真实世界未索引信息获取的综合研究智能体系统
UIS-Digger: Towards Comprehensive Research Agent Systems for Real-world Unindexed Information Seeking
摘要
基于大语言模型的信息寻求代理的最新进展在既定基准上取得了破纪录的表现。然而,这些代理仍然严重依赖搜索引擎索引的知识,留下了一个关键的盲点:未索引的信息搜索(UIS)。本文识别并探讨了 UIS 问题,即搜索引擎爬虫无法捕获重要信息,例如被忽视的内容、动态网页和嵌入文件。尽管具有重要意义,UIS 仍然是一个尚未得到充分探索的挑战。为了弥补这一差距,我们引入了 UIS-QA,这是第一个专用的 UIS 基准测试,由 110 个专家注释的 QA 对组成。值得注意的是,即使是最先进的智能体在 UIS-QA 上的性能也会急剧下降(例如,从 GAIA 上的 70.90 和 BrowseComp-zh 上的 46.70 下降到 UIS-QA 上的 24.55),这凸显了问题的严重性。为了缓解这个问题,我们提出了 UIS-Digger,这是一种新颖的多代理框架,它结合了双模式浏览并支持同时进行网页搜索和文件解析。通过使用 SFT 和 RFT 训练策略优化的相对较小的 $\sim$30B 参数骨干 LLM,UIS-Digger 设定了 27.27\% 的强大基线,优于集成 O3 和 GPT-4.1 等复杂 LLM 的系统。这表明与未索引的来源主动交互对于有效和全面的信息搜索的重要性。我们的工作不仅揭示了当前代理评估范式的根本局限性,而且还为推进 UIS 研究提供了第一个工具包,为强大的信息搜索系统定义了一个新的、有前途的方向。
