论文

答案只是开始:基于文档的开放式 QA 的相关见解生成

An Answer is just the Start: Related Insight Generation for Open-Ended Document-Grounded QA

模型评测基准与评测资源

摘要

回答开放式问题对于人工智能系统来说仍然具有挑战性,因为它需要事实检索之外的综合、判断和探索,而且用户经常通过多次迭代来完善答案,而不是接受单一的答案。现有的 QA 基准并不明确支持这种细化过程。为了解决这一差距,我们引入了一项新任务,即基于文档的相关洞察生成,其目标是从文档集合中生成额外的洞察,帮助改进、扩展或重新思考开放式问题的初始答案,最终支持更丰富的用户交互和更好的整体问答体验。我们策划并发布了 SCOpE-QA(开放式 QA 科学馆藏),这是一个包含 20 个研究馆藏的 3,000 个开放式问题的数据集。我们提出了 InsightGen,这是一种两阶段方法,首先使用聚类构建文档集合的主题表示,然后根据主题图中的邻域选择来选择相关上下文,以使用 LLM 生成多样化且相关的见解。使用两种生成模型和两种评估设置对 3,000 个问题进行的广泛评估表明,InsightGen 始终如一地产生有用、相关且可操作的见解,为这项新任务建立了强有力的基线。