少即是多：用于科学总结的质量意识训练数据选择

科学长文档摘要数据集通常将作者撰写的摘要视为标准参考摘要，尽管它们的质量和与源文章的一致性各不相同。与此同时，公开可用的科学总结数据集在现代长上下文模型的规模和结构方面仍然有限。在这项工作中，我们通过 a) 构建和发布最大的生物医学和生命科学数据集之一来解决这两个挑战，用于长文档摘要，其中包含 188 万篇 PMC 文章；b) 使用基于来源和基于模型的指标分析作者撰写的摘要的参考质量。我们表明作者撰写的摘要与全文的一致性有所不同，并且这些质量信号可以指导训练数据的选择。对选定的高质量子集进行的训练在匹配的训练规模下优于随机采样，并且可以在面向事实的指标上匹配或超过更大的随机子集。我们的研究结果表明，参考质量是科学总结的一个重要因素，并且具有质量意识的数据选择可以提高训练效率。