论文
个性化深度研究:以用户为中心的知识发现框架、数据集和混合评估
Personalized Deep Research: A User-Centric Framework, Dataset, and Hybrid Evaluation for Knowledge Discovery
摘要
由 LLM 驱动的深度研究代理已经实现了从规划和查询制定到迭代网络探索的学术发现流程的自动化。然而,它们仍然受到静态的、“一刀切”的检索范式的限制。当前的系统无法根据用户现有的专业知识或潜在兴趣自适应地调整探索的深度和广度,经常导致报告对于专家来说是多余的,或者对于新手来说过于密集。为了解决这个问题,我们引入了个性化深度研究(PDR),这是一个将动态用户上下文集成到核心检索推理循环中的框架。 PDR 没有将个性化视为事后格式化步骤,而是将用户配置文件建模与迭代查询开发、双阶段(私有/公共)检索和上下文感知综合相结合。这使得系统能够自动地将研究子目标与用户意图结合起来,并优化证据收集的停止标准。为了促进基准测试,我们发布了涵盖四个实际用户任务的 PDR 数据集,并提出了一个混合评估框架,将词汇指标与基于 LLM 的判断相结合,以评估事实准确性和个性化一致性。针对商业基线的实验结果表明,PDR 显着提高了检索实用性和报告相关性,有效地弥合了通用信息检索和个性化知识获取之间的差距。该资源可通过 https://github.com/Applied-Machine-Learning-Lab/SIGIR2026_PDR 向公众开放。