论文

从社交推理到具体交互:社交机器人的Agentic框架

From Social Reasoning to Embodied Interaction: An Agentic Framework for Social Robots

摘要

自然的面对面人机交互要求机器人了解不断变化的社会情境,决定何时参与,并通过协调的身体行为表达其意图。然而现有的方法很少闭合这个循环:基础模型智能体提供了越来越强大的多模态推理和记忆,但在很大程度上仍然是脱离实体的,而富有表现力的虚拟智能体不会面临真实机器人的物理约束,而物理社交机器人通常只能部分解决社交推理和具体表达。我们推出了 ARISE,一个统一的框架,在 Sophia 人形机器人上连接Agentic推理和交互式社交体现。 ARISE 集成了多模态上下文理解、长期记忆以及反应式和主动式交互,以确定何时进行交流以及交流内容,并通过流执行将社交意图转化为与语音和机械面部表情相协调的机器人本机手势。对 Sophia 的广泛评估表明,其具有很强的感知交互质量、富有表现力且协调良好的具体行为,以及通过流执行显着减少延迟。这些结果强调了共同推理交流内容、何时参与以及如何以身体方式表达与人形机器人自然交互的社交意图的重要性。项目页面:https://robosocial.github.io/

从社交推理到具体交互:社交机器人的Agentic框架的原论文方法或结果图
图 2:ARISE 概述。考虑到对话音频和实时 RGB 观察,多模态社交智能体通过长期记忆和在线搜索执行被动和主动规划,生成口头响应和象征性手势计划。流式多模式编排同步语音、面部动画和手势以实现渐进式执行,机器人部署将协调的输出映射到机器人的执行器。