论文

推理何时对机器翻译有帮助? LRM 推理轨迹的层次分析

When Does Reasoning Help in Machine Translation? A Hierarchical Analysis of LRM Reasoning Traces

模型评测模型行为与机制分析

摘要

大型推理模型越来越多地使用中间痕迹进行机器翻译,但目前尚不清楚这种推理何时有用或有害。我们分析跨模型、语言、领域和数据集的推理痕迹,重点关注推理语言、长度和结构。我们发现最好的推理语言是特定于模型的,推理长度与质量具有非单调关系,并且痕迹表现出重复出现的功能模式。为了揭示这些模式,我们引入了分层元摘要(HMS),这是一个可扩展的框架,可以在没有预定义分类法的情况下引入粗粒度和细粒度的推理结构。 HMS 揭示了一个共享的组织——理解/规划、翻译/起草和完善/验证——以及特定领域的变化。我们的结果表明,机器翻译推理应该以模型感知、长度感知和模式感知的方式进行控制,而不是一律鼓励。