RobotValues：当人类价值观发生冲突时评估家用机器人

虽然家用机器人通常根据任务完成情况进行评估，但日常家庭环境涉及价值冲突的情况，在这种情况下，机器人应该选择优先考虑不同价值（例如人类自主性、效率或社会适宜性）的行动。然而，目前还没有评估机器人在此类场景下的价值偏好的基准。我们推出了 RobotValues，这是一个在 8K 价值冲突场景下评估家用机器人规划器的基准。每个实例都包含一个真实的、综合生成的家庭图像，以及多个合理的机器人动作，这些动作优先考虑不同的人类价值观。我们通过LLM辅助场景生成、基于利益相关者的价值提取、图像生成和自动质量控制来构建ROBOTVALUES。我们评估了机器人技术中使用的 10 个 VLM，发现模型显示了默认值偏好，包括安全和住宿，同时低估了隐私优先的操作。当系统提示模型优先考虑与其偏好相冲突的值时，模型通常无法覆盖默认操作，模型中平均有 80% 的时间会选择不正确的操作。这些发现强调，当人类价值观发生冲突时，需要超越任务完成或安全评估，评估机器人的决策能力。