长篇财务叙事摘要的Transformer评价指标比较

英国伦敦证券交易所有超过2000家上市公司，分为11个板块，这些公司被要求在一个财政年度至少公布两次财务业绩。英国的年度报告是非常冗长的文件，平均约为 80 页。在这项研究中，我们的目标是在一组具有不同提取技术的不同预训练Transformer上对各种汇总方法进行基准测试。此外，我们考虑了多种评估指标，以研究它们在财务叙事摘要（FNS 2020）共享任务数据集上的不同行为和适用性，该任务由伦敦证券交易所上市公司发布的年度报告及其相应的摘要组成。我们假设一些评估指标不能反映真实的概括能力，并提出了一种新的 BRUGEscore 指标，作为 ROUGE-2 和 BERTscore 的调和平均值。最后，我们对结果进行统计显着性检验，以验证它们在统计上是否稳健，同时进行对抗性分析任务 三种不同的腐败方法。