BirdsongChat：用于多模态体现行为模拟的混合多代理框架

多模态体现系统需要将人类意图转化为跨异构模态的可解释和协调的行为。然而，现有的多模态代理通常依赖于隐式表示，限制了可控性和跨模态一致性。我们提出了一种用于交互式多模式行为模拟的混合多代理框架，通过统一参数表示（UPR）将语义推理和物理执行联系起来。基于 LLM 的推理代理将多模态输入转换为 UPR，UPR 对行为状态和可解释的控制参数进行编码，以便模拟代理生成同步 3D 运动、空间化音景和环境行为。我们开发 BirdsongChat 作为所提出框架的原型实现，使用交互式鸟类行为模拟作为紧密耦合运动、发声和环境背景的测试平台。 BirdsongChat 在涉及物种、行为、情感状态、环境和多鸟互动的文本和图像引导场景上进行评估。该系统的跨模态一致性标准化得分为 94.4%，情感一致性标准化得分为 100%，生成一致性标准化得分为 92.6%。这些结果表明，显式中间表示有效地连接了语义推理和物理执行，从而提高了可控性和多模态同步。因此，所提出的框架为需要跨模态可解释的语义到物理协调的具体人工智能系统提供了一个可推广的设计原则，在仿生生态声学、群体机器人、虚拟环境和创意多媒体方面具有潜在的应用。