论文

从问题到信任报告:TREC 2025 DRAGUN 赛道的 LLM-IR 框架

From Questions to Trust Reports: A LLM-IR Framework for the TREC 2025 DRAGUN Track

摘要

TREC 2025 的 DRAGUN Track 旨在满足人们对有效支持工具不断增长的需求,帮助用户评估在线新闻的可信度。我们描述了为任务 1(关键问题生成)和任务 2(检索增强可信度报告)提交的 UR_Trecking 系统。我们的方法将基于 LLM 的问题生成与语义过滤、使用聚类的多样性实施以及多种查询扩展策略(包括基于推理的思想链扩展)相结合,以从 MS MARCO V2.1 分段语料库中检索相关证据。使用 monoT5 模型对检索到的文档进行重新排序,并使用 LLM 相关性判断和域级可信度数据集进行过滤。对于任务 2,选定的证据由 LLM 合成为带有引文的简明可信度报告。官方评估结果表明,与基线检索相比,思想链查询扩展和重新排序大大提高了相关性和领域信任度,而问题生成性能显示出中等质量,还有改进的空间。最后,我们概述了遇到的主要挑战,并提出了在系统未来迭代中增强稳健性和可信度评估的方向。