论文

SurveyLens:自动生成调查的纪律意识基准

SurveyLens: A Discipline-Aware Benchmark for Automatic Survey Generation

模型评测基准与评测资源

摘要

自动调查生成(ASG)旨在通过检索、组织和综合学术论文来生成全面的文献调查。尽管专门的 ASG 框架和深度研究代理取得了快速进展,但现有的评估主要集中在计算机科学或依赖于通用标准,因此尚不清楚当前系统是否满足不同学科的调查标准。我们推出了 SurveyLens,这是第一个具有学科意识的 ASG 基准测试。 SurveyLens 包括 SurveyLens-1k,这是一个包含 10 个学科的 1,000 份人工撰写调查的精选数据集,以及一个双镜头框架,该框架将学科意识评分标准与基于参考的人工撰写调查对齐相结合。通过评估普通 LLM、ASG 系统和深度研究代理的 11 个最先进的系统,我们发现深度研究代理是唯一在所有 10 个学科中稳健的范式,ASG 系统在结构规划方面处于领先地位,并且所有范式在参考质量方面仍然较弱,为特定学科的工具选择和未来 ASG 设计提供了实用指导。