LLM 细化实际上改进了什么？文献级文学翻译的系统研究

迭代自我完善是一种简单的机器翻译推理时间策略：LLM 在多次推理时间过程中修改自己的翻译。然而，文档规模的细化仍然知之甚少：1) 哪些流程效果最好，2) 哪些质量维度得到改善，以及 3) 细化者的行为方式。在本文中，我们提出了文档级文学翻译的系统研究，涵盖九个 LLM 和七种语言对。通过九种翻译细化粒度组合和五种细化策略，我们找到了一个强大的秘诀：文档级机器翻译，然后是段级细化，产生了强大而稳定的改进。相比之下，文档级细化通常会减少编辑次数，并导致收益较小或不太可靠。除了粒度之外，简单的一般细化提示始终优于特定于错误的提示和评估然后细化方案。我们的大规模人工评估表明，细化收益主要来自流畅性、风格和术语，而在充分性方面的改进有限且不太一致。不同模型强度的实验揭示了细化项目的输出朝向细化器的分布，而不是执行有针对性的错误修复。这些发现阐明了当前细化方法的机制和局限性。