论文

衡量机器人政策中的语言迁移:将希腊语添加到 Cosmos3 视觉-语言-行动政策中

Measuring Language Transfer in Robot Policies: Adding Greek to a Cosmos3 Vision-Language-Action Policy

模型评测评测方法与指标

摘要

机器人基础模型主要用英语进行训练和评估,大多数语言都不存在机器人演示语料库。我们研究仅使用机器改写的指令而不改变架构来将希腊语添加到开放视觉语言动作堆栈中。主要的挑战是测量而不是翻译。一些看似合理的工具会产生错误的结论:颜色直方图度量奖励噪音,单目标基准在正确的希腊语下得分为 84.6%,在故意错误的指令下得分为 82.6%,训练损失无法预测希腊语的成功,单次比较由种子变异主导。在每臂有 3 个种子的具有区分性的 90 项任务套件中,没有希腊语演示的多语言文本塔仍处于错误指令层,而仅希腊语训练最多超出其控制点 2.7 分。双语训练的控制效果始终高出 6.7-7.1 分,达到英语成绩的约五分之二。该政策也与译者的措辞过于吻合。每项任务七个短语的训练大约可以使这个损失减半。从语言适应的世界模型热启动和解冻文本塔都会降低性能。结果支持低资源机器人策略本地化的两个实际要求:在信任度量之前构建有保证的空值,并跨种子复制低资源语言结果。