多模态双工交互代理

在这项工作中，我们提出了 Gander，一种基于 MiniCPM-o 4.5 构建的原生多模式双工交互模型，并进一步适应与异步代理循环的实时交互。与传统的回合制系统相比，Gander 持续处理流式用户输入，从而在日常对话和复杂的工作流代理场景中实现全双工交互。用户可以中断正在进行的响应，而模型可以主动提供中间反馈或提出后续问题。为了原生支持这些功能，Gander 采用了两个关键的架构设计：1）小脑-大脑协作框架，小脑负责实时交互，而大脑则处理复杂的推理和更高级别的代理任务。这两个组件通过工具调用和代理编排运行时持续交互。 2) Cerebellum 建立在流式 Thinker-Talker 架构之上，其中用户输入和模型输出被扁平化为块级别的有序词元流。我们从对话能力、交互能力、理解力和工具辅助任务执行方面评估 Gander。内部人类评估表明，Gander 保持了自然且富有表现力的口语对话，而基准测试结果显示了有效的轮流能力，并在口语问答和相关理解任务上取得了令人鼓舞的结果。 Gander 还支持一系列具有挑战性的交互设置，包括背景噪声干扰、多方交互和反向通道通信。虽然我们目前的评估侧重于工具辅助设置，但更广泛的长期代理任务和更多样化的部署条件仍然是进一步研究的有希望的方向。我们将 Gander 连同其模型、代码和数据一起发布，以方便社区进一步的研究和开发。