论文
最小编辑乌克兰语语法错误纠正提示能走多远?
How Far Can Prompting Go for Minimal-Edit Ukrainian Grammatical Error Correction?
摘要
微调的 大语言模型 (LLM) 在乌克兰语语法错误校正 (GEC) 中占主导地位,而 API 访问的 LLM 在最小编辑基准上几乎未经测试。我们在 UNLP 2023 GEC-only 基准上评估了来自 4 个提供商的 11 个商业 LLM 和一个开源乌克兰模型,比较了零样本、少样本、最小编辑和 LLM 辅助的提示优化策略。我们的最佳配置(Gemini 3.1-Pro)达到 F0.5=69.22,缩小了与微调 SOTA(F0.5=73.14)的 90% 以上的差距。对于零样本提示,只有克劳德模型受益于乌克兰指令。然而,所有模型的最佳总体结果都使用乌克兰语最小编辑提示,其特定于语言的规则需要乌克兰语精确表达。 LLM辅助提示优化在最少编辑+少量镜头的基础上获得了最高分。详细的最小编辑指令可以最大程度地减少标点符号和大小写错误,但会导致模型放弃几个低频类别。通过深入研究错误分析,我们发现了与乌克兰特定语言现象相关的五种反复出现的过度纠正模式。代码、提示和输出都是公开的。