合成幻觉，真正的收获：FIM 幻觉缓解前沿模型的硬性负面影响

支持 IDE 自动完成的小型开源代码模型仍然发出幻觉的中间填充 (FIM) 完成：对周围项目中不存在的方法、参数、变量和导入进行语法上的自然调用。现有的缓解措施要么需要按语言执行沙箱（不适用于中键击中），要么需要需要大型人工标记语料库的偏好优化管道。我们提出了一种无需执行的替代方案：使用前沿代码模型来合成看似合理但错误的完成结果作为硬底片，然后利用这些合成幻觉和 真值 开发人员编辑之间的对比作为受监督的 微调 信号。我们的管道从公共 GitHub 上抓取八种语言的多语言 FIM 上下文，并要求由三个前沿生成器组成的小组为从 Delulu 分类法（一种经过 Docker 验证的多语言 FIM 幻觉基准）抽取的四种幻觉类型中的每一种生成一个硬阴性，从而生成配对的选择/拒绝数据集。 微调 Qwen2.5-Coder-7B-Instruct 在 100K 行精选子集上将 Delulu 精确匹配提升了 +18.8 个点，并将每种语言和每种类型的相似性编辑提升了 +0.22，同时还改进了每个 HumanEval-Infilling 分割和每个 SAFIM 子集。 3B 的相同配方将 Delulu 提升了+12.8 EM，并进行了小的、特征化的一般 FIM 权衡。五轴消融（尺寸、类型混合、语言覆盖范围、基本模型系列和难度意识愚弄率）以及头对头 SFT 与 DPO/ORPO 比较图，其中设计选择推动了增益。我们发布了完整的管道源代码——生成、傻瓜率 LLM 判断、管理和 FIM 微调 配方——以便本文中的实验可以在任何许可的语料库上端到端地重现。