论文

混合搭配:用于可扩展的主题控制的教育总结的上下文配对

Mix and Match: Context Pairing for Scalable Topic-Controlled Educational Summarisation

模型训练合成数据

摘要

主题控制摘要使用户能够生成专注于源文档特定方面的摘要。本文研究了一种用于训练小语言模型(sLM)以执行主题控制摘要的数据增强策略。我们提出了一种成对数据增强方法,该方法结合不同文档的上下文来创建对比训练示例,使模型能够更有效地学习主题和摘要之间的关系。使用富含维基百科衍生主题的 SciTLDR 数据集,我们系统地评估增强规模如何影响模型性能。结果显示,随着增强规模的增加,获胜率和语义对齐不断提高,而实际训练数据量保持不变。因此,尽管使用的参数和实际训练示例少得多,但使用我们的增强方法训练的基于 T5 的模型仍能实现相对于较大模型的竞争性能。