重新思考自回归模型测试时适应中的熵最小化

通过熵最小化 (EM) 进行的测试时间适应 (TTA) 已被证明对分类任务有效，但其在生成自回归模型中的应用在理论上仍然支离破碎。现有的方法通常依赖于不同的启发式方法，例如使用伪标签的教师强制或基于策略梯度的强化学习，而没有统一的数学基础。在这项工作中，我们通过推导针对自回归模型定制的严格 EM 公式来解决这一差异。我们表明，确切的目标自然地分解为 词元级 策略梯度损失和 词元级 熵损失，并且我们将先前的方法重新解释为该统一公式的部分实现。使用 Whisper ASR 作为测试平台，我们证明了我们的方法能够持续提高 20 多个不同领域的性能，包括噪声、口音和多语言设置。