论文

通过意图意识改进归因长式问答

Improving Attributed Long-form Question Answering with Intent Awareness

上下文与知识上下文工程

摘要

大语言模型 (LLM) 越来越多地用于生成全面的知识密集型报告。然而,虽然这些模型是根据不同的学术论文和报告进行训练的,但它们并没有接触到指导作者制作这些文档的推理过程和意图。我们假设增强模型的意图意识可以显着提高生成的长格式报告的质量。我们开发并采用结构化的、基于标签的方案,以更好地引出潜在的隐含写作或引用意图。我们证明,这些提取的意图增强了 LLM 中的零样本生成能力,并能够为 微调 较小模型创建高质量的合成数据。我们的实验表明,各种具有挑战性的科学报告生成任务的性能都有所提高,大型和小型模型相对于基线的平均绝对点分别提高了 +2.9 和 +12.3 点。此外,我们的分析阐明了意图意识如何增强模型引用的使用并显着提高报告的可读性。