视频视频描述强化学习的陈述级评分标准奖励

在本文中，我们介绍了声明级红评分标准奖励（CuRe），这是一种结构化奖励框架，旨在解决密集视频视频描述强化学习中的奖励设计瓶颈。现有的奖励设计通常分为两类：跨异构标准的整体响应水平判断，或针对参考描述的基于对齐的评估。然而，这两种范式都存在根本性的局限性。整体奖励难以确保事实准确性，并且容易出现风格 奖励作弊，而基于参考的奖励过度依赖严格的文本对齐，无法保持开放式生成任务固有的完整性和多样性。为了应对这些挑战，CuRe 将奖励模型重新制定为细粒度的索赔级别验证。具体来说，CuRe 通过结构化的标题将说明分解为类别感知的原子声明，将整体评估转换为更简单、更可靠的声明级别验证。