论文
DataSTORM:使用探索性数据分析和数据讲故事对大型数据库进行深入研究
DataSTORM: Deep Research on Large-Scale Databases using Exploratory Data Analysis and Data Storytelling
摘要
大语言模型 (LLM) 代理的深入研究正在成为多步骤信息发现、合成和分析的强大范例。然而,现有方法主要关注非结构化网络数据,而对大规模结构化数据库进行深入研究的挑战仍然相对未得到充分探索。与基于网络的研究不同,有效的以数据为中心的研究需要的不仅仅是检索和总结,还需要迭代假设生成、对结构化模式的定量推理以及向连贯的分析叙述的收敛。在本文中,我们提出了 DataSTORM,这是一个基于 LLM 的代理系统,能够跨大规模结构化数据库和互联网资源自主进行研究。基于探索性数据分析和数据故事讲述的原则,DataSTORM 将结构化数据的深入研究重新构建为论文驱动的分析过程:从数据中发现候选论文,通过迭代跨源调查对其进行验证,并将其发展为连贯的分析叙述。我们在 InsightBench 上评估了 DataSTORM,它取得了新的最先进结果,洞察级召回率相对提高了 19.4%,摘要级得分相对提高了 7.2%。我们进一步介绍了一个基于 ACLED(现实世界的复杂数据库)构建的新数据集,并证明 DataSTORM 在自动化指标和人工评估方面均优于 ChatGPT Deep Research 等专有系统。