论文

DWTSumm:用于文档摘要的离散小波变换

DWTSumm: Discrete Wavelet Transform for Document Summarization

上下文与知识上下文工程

摘要

由于上下文限制、信息丢失和幻觉,特别是在临床和法律环境中,使用 大语言模型 (LLM) 总结长的、特定领域的文档仍然具有挑战性。我们提出了一种基于离散小波变换(DWT)的多分辨率框架,将文本视为语义信号并将其分解为全局(近似)和局部(细节)组件。应用于句子或单词级嵌入时,DWT 会产生紧凑的表示,保留整体结构和关键的特定领域细节,这些细节可直接用作摘要或指导 LLM 的生成。临床和法律基准实验表明 ROUGE-L 分数具有可比性。与 GPT-4o 基线相比,基于 DWT 的摘要持续改进了语义相似性和基础性,在 BERTScore 方面实现了超过 2% 的增益,在语义保真度方面实现了超过 4% 的增益,在法律任务中实现了事实一致性,并且在 METEOR 方面取得了巨大的改进,表明保留了特定领域的语义。在多个嵌入模型中,保真度高达 97%,这表明 DWT 作为一种语义去噪机制,可以减少幻觉并加强事实基础。总体而言,DWT 为使用 LLM 进行可靠的长文档和特定领域的摘要提供了一种轻量级、可概括的方法。