EmpaAva：开源 Agentic 3D 阿凡达同理心实时聊天机器人

本文介绍了 EmpaAva，据我们所知，这是第一个开源、代理 3D 化身移情聊天机器人，它将移情响应生成 (ERG) 从纯文本交流转变为实时、面对面的互动。通过类似视频通话的界面，用户与 3D 数字人交谈，该人从语音和可选视觉中读取他们的影响，并以情感语音、口型同步的面部动作和逼真的 3D 高斯渲染进行回复。 LLM 的核心是协调一个 Tri-Agent 架构，其中感知、同理心响应计划和具体渲染形成一个闭环，并与响应计划层配对，该层将每个回复编译成可执行的多模式计划，将语音、表达和渲染保持在同一个同理心意图上。 EmpaAva 以强大的开源模块为基础，提供智能，将它们结合成一种可控、可检查的体验。在自动和人工评估中，EmpaAva 在情感理解、响应质量和视听一致性方面超越了纯文本、2D 面部说话和多模态化身基线。我们通过在线现场演示开源 EmpaAva。