DyaPlex：二元交互的全双工语音运动模型

我们推出了 DyaPlex，一种专为二元交互设计的流式全双工语音和运动模型。为了捕捉人类通信的连续性和交互性，这种全双工功能使代理能够以流方式同时感知和生成语音和物理运动。我们的方法的核心是利用基础全双工语音模型的强大先验，并集成新颖的运动路径，从而实现完全同步的多模态交互。具体来说，我们设计了一种双塔 Transformer 架构，该架构保留了冻结基础语音模型的零样本会话推理，同时构建了深度耦合的流式运动路径。通过引入统一的二元词元交织机制并通过时间对齐的语音运动 RoPE 引导交叉注意力，我们的模型有效地将自回归运动与丰富的潜在语音特征对齐。我们的模型在 4,000 小时无缝交互数据集上进行训练，有效地捕获了跨说话者的依赖关系，并在单元和二元人类交互基准上建立了新的最先进的性能。