KnowledgeGain：评估和优化科学新闻生成以促进读者学习

科学新闻是研究界和公众之间交流发现的重要媒介。然而，大多数生成或总结文本的指标都会评估语义相似性和事实一致性，但不会衡量读者从新闻中学到了多少知识。我们引入了 KnowledgeGain，这是一种通过衡量读者阅读后获得的知识来评估科学新闻质量的指标。为了评估该指标，我们首先进行了一项受控人类研究，结果表明该指标成功捕获了人类读者阅读不同类型的科学媒体所获得的差异知识。这些数据使我们能够校准仅提示的 LLM 阅读器模拟器。我们用它在人工评估之前对候选文章进行排名和过滤。第二项人类研究表明，使用该模拟器选择的文章在强大的生成基线上提高了读后准确性和标准化知识增益。我们的工作是朝着生成更好地满足布鲁姆分类学的知识和理解目标的科学新闻迈出的一步。