论文

通过元步解码进行验证者引导的代码翻译

Verifier-Guided Code Translation via Meta-Step Decoding

模型推理解码与生成控制

摘要

测试时间缩放是改进 大语言模型 的重要机制,特别是在具有确定性验证器的任务上。代码翻译是一个典型的例子:源程序限制有效的输出,而编译器、类型检查器和行为检查提供准确的通过/失败反馈。现有的方法通常仅在生成后才应用这些验证器,这是低效的,因为早期错误会破坏自回归上下文,并且以后很少得到纠正。我们引入了解码时间验证(DTV),这是一个将结构边界视为验证者引导解码的元步骤的框架。 DTV 在状态机控制器下将生成与验证器调用交错,状态机控制器强制使用有效前缀,使用结构边界检查和结构感知回滚来防止错误传播,同时减少词元浪费。我们评估 DTV 的 C-to-Rust 和 JavaScript-to-TypeScript 转换。在匹配的 词元预算 下使用 Qwen3-4B 作为主要生成器,相对于匹配的自优化基线,DTV 将 C-to-Rust 的通过率从 72.3% 提高到 82.0%,将 JavaScript-to-TypeScript 的通过率从 33.3% 提高到 46.0%,同时每个案例使用的词元更少;同样的趋势主要转移到 Gemma-4-E4B 上。在评估的成本匹配网格中,DTV 实现了比事后验证或基于采样的扩展更有利的通过率与成本权衡。这些结果表明,验证者引导解码是代码翻译推理时间计算的有效利用。