ExpressMM：人机交互中富有表现力的移动操纵行为

移动机械手越来越多地部署在以人为中心的环境中来执行任务。在完成此类任务的同时，他们还应该能够使用富有表现力的机器人行为向周围的人传达他们的意图。先前关于表达机器人行为的工作使用了预编程或基于演示学习的表达运动，并且 大语言模型 生成了高级交互。这些现有方法中的大多数都没有考虑人机交互（HRI），其中用户可能在任务执行期间中断、修改或重定向机器人的动作。在本文中，我们开发了新颖的 ExpressMM 框架，该框架将基于用于感知和对话推理的视觉语言模型的高级语言引导规划器与底层视觉语言动作策略相集成，以在协作 HRI 任务期间生成富有表现力的机器人行为。此外，ExpressMM 支持可中断的交互，以适应用户更新或重定向的指令。我们在移动机械手上演示 ExpressMM，协助人类进行协作装配场景，并对现场 HRI 演示进行基于观众的评估。问卷调查结果表明，支持 ExpressMM 的表达行为可以帮助观察者清楚地解释机器人的行为和意图，同时支持社交上适当且可理解的交互。参与者还报告说，该机器人对于协作任务很有用，并且在演示过程中以可预测和安全的方式表现，从而在协作任务期间培养了对机器人的有用性、安全性和可预测性的积极看法。