人机交互的多模式框架

人机交互正日益转向多机器人、社交环境。现有系统很难将多模态感知、具身表达和协调决策整合到一个统一的框架中。这限制了共享物理空间中自然且可扩展的交互。我们通过引入用于人类多智能体交互的多模态框架来解决这一差距，其中每个机器人作为自主认知智能体运行，具有集成的多模态感知和基于实施例的 大语言模型 (LLM) 驱动的规划。在团队层面，集中协调机制规范轮流和代理参与，以防止言论重叠和行动冲突。我们的框架在两个人形机器人上实现，通过结合语音、手势、凝视和运动的交互策略，实现连贯的多智能体交互。代表性交互运行展示了跨代理的协调多模态推理和扎根的体现响应。未来的工作将侧重于更大规模的用户研究和对基于社会的多主体交互动态的更深入探索。