论文

MIDAS:多 LLM 迭代数据自适应摘要

MIDAS: Multi-LLM Iterative Data-Adaptive Summarization

上下文与知识上下文工程

摘要

文本摘要看似困难。虽然浓缩信息看起来很简单,但现实世界的企业对支持票证、法律文件、事件报告等的总结需要严格遵守特定领域的指南、输出格式和组织惯例。制作可靠地满足这些约束的提示是劳动密集型的,需要大量的人类专业知识并随着需求的发展进行持续维护。现有的自动提示优化方法通过 大语言模型 (LLM) 批评驱动的细化减轻了这种负担,但仍然受到无法适应摘要应用程序多样性的静态提示的限制。我们提出了 Multi-LLM 迭代数据自适应摘要(MIDAS),这是一个 multi-LLM 框架,它通过数据驱动的模式学习和特定于用例的个性化扩展了这一范式,无需手动提示工程即可自动适应不同的摘要要求。应用于跨五种输出格式的企业客户票据摘要时,MIDAS 相对于 CriSPO 和 ZERA 等最先进的批评驱动的优化框架,实现了最强的整体性能,将 ROUGE-1 提高了 11.0%,ROUGE-2 提高了 18.2%,ROUGE-L 提高了 8.0%,同时在所有格式和输出类型上持续改进了 BERTScore F1。我们还通过多 LLM 配置和金融领域汇总基准演示了跨模型和跨领域泛化。