MIRA：实体同伴的实时全双工人机交互

% !TEX root = ../main.tex 实时体现的同伴交互需要机器人从流式语音中推断用户意图，生成及时响应，并执行富有表现力的、可中断的动作。现有系统通常将对话编排与手势合成分离，依赖于完整音频的离线动作生成。这种分离使得部署的机器人如何在增量输入和不确定的转弯边界下动态同步响应内容、韵律计时和物理安全。我们推出 MIRA，一个用于实时全双工体现同伴交互的统一框架。给定流式用户语音、对话历史和声音效果，MIRA 可以预测响应文本和将响应路由到适当身体行为的明确体现提示。离散的社交行为（例如聆听和问候）被映射到经过验证的机器人轨迹，而说话响应则伴随着流式、生成的共同语音运动。对于协同语音运动生成，我们提出了 ROSCO，一种用于流式音频到关节运动生成的前缀条件扩散模型。我们进一步设计了 RHPC，这是一种推理方案，它为运动预测维护足够长的时间上下文，同时将物理承诺限制为短的、可中断的前缀。在交互层面，我们设计了 CORTEX，这是一种双时间尺度交互策略，它将低延迟打断抢占和流式响应生成与深思熟虑的转向决策相结合，并由机器人端执行层支持，在执行过程中强制实施物理安全约束。 MIRA 部署在 Astribot S1 人形机器人上。定量评估证明了相对于最先进的运动生成基线的竞争性音频运动对齐，而真实的机器人部署测量则表征了流响应能力和中断处理。