论文

SCURank:使用摘要内容单元对多个候选摘要进行排名,以增强摘要

SCURank: Ranking Multiple Candidate Summaries with Summary Content Units for Enhanced Summarization

模型评测评测方法与指标

摘要

小语言模型(SLM),例如BART,可以通过蒸馏实现与大语言模型(LLM)相当的摘要性能。然而,现有的基于 LLM 的候选摘要排名策略不稳定,而经典指标(例如 ROUGE)不足以对高质量摘要进行排名。为了解决这些问题,我们引入了 \textbf{SCURank},这是一个通过利用 \textbf{摘要内容单元 (SCU)} 来增强摘要的框架。 SCURank 不依赖不稳定的比较或表面重叠,而是根据信息内容的丰富性和语义重要性来评估摘要。我们研究了 SCURank 从多个不同的 LLM 中提取摘要的有效性。实验结果表明,SCURank 在评估指标和数据集上优于传统指标和基于 LLM 的排名方法。此外,我们的研究结果表明,合并不同的 LLM 摘要增强了模型抽象性和整体蒸馏模型性能,验证了多 LLM 蒸馏 中以信息为中心的排名的好处。 SCURank 的代码可在 https://github.com/IKMLab/SCURank 获取。