论文
重复惩罚在推理时调节语法纠错的精确率与召回率
Precision--Recall Trade-off on the Inference Level for LLMs in Grammatical Error Correction
摘要
大型语言模型（LLMs）最近已被用于语法错误纠正（GEC），通过全量微调和基于提示的方法实现了强大的性能。作为概率序列模型，LLMs 公开了直接修改 token 生成行为的推理阶段参数；然而，它们控制 GEC 特定权衡的潜力尚未得到系统研究。在这项工作中，我们研究了语法错误纠正的解码策略。我们证明，重复惩罚参数可以在推理时对精确率与召回率的权衡进行可控调整，而无需修改模型架构、训练过程或提示。通过标准 GEC 基准测试的实验，我们证明基于重复惩罚的解码能够实现精确率与召回率平衡的推理阶段控制，概念上与之前为序列到序列 GEC 模型提出的方法相关，例如对齐和预测解码 (APD)，同时保持简单且广泛适用于暴露推理阶段解码惩罚的现有 LLMs。
