论文

更大的上下文窗口,更少的过度纠正:优化提示和批处理以进行最小编辑语法错误纠正

Larger Context Window, Fewer Overcorrections: Optimizing Prompts and Batching for Minimal-Edit Grammatical Error Correction

上下文与知识上下文工程

摘要

最小编辑语法错误纠正 (GEC) 对于零次和少量提示的 大语言模型 (LLM) 来说是一项具有挑战性的任务,它通过重写格式良好的跨度来系统地过度纠正并降低 $F_{0.5}$ 的性能。虽然 微调 提供了有效的解决方案,但它对基础设施提出了巨大的要求。我们引入了一种基于提示的方法,通过 GEC 提示方法的三项进步缩小了与微调模型的差距。首先,我们引入基于分类的指令,通过语法错误规则的综合列表来强制执行最小编辑约束,为 LLM 配备有界的、度量对齐的可纠正编辑范围,这有利于最强大的模型,同时保持总体上的模型依赖性。其次,我们证明将多个未更正的句子批量放入单个输入上下文中可以作为防止过度校正的有针对性的正则化器,系统地降低不同 LLM 系列的编辑率;我们假设这是由于自我注意分数的有限能力引起的注意稀释效应引起的。最后,LLM 辅助提示优化完善了这些指令。在 Gemini 3.1-Pro 的支持下,我们的提示在 BEA-2019 测试集上达到了 $F_{0.5}=78.32$ - 建立了一个新的基于提示的 SOTA,同时将与微调的单模型 SOTA(Staruch 等人,2025)的差距缩小到仅 $0.38$ 点。代码、提示和输出都是公开的。