AuDirector：用于沉浸式音频叙事的自我反思闭环框架

尽管文本和视觉生成取得了进步，但创建连贯的长篇音频叙述仍然具有挑战性。现有框架通常存在局限性，例如角色设置与语音表现不匹配、自我纠正机制不足以及人机交互性有限。为了应对这些挑战，我们提出了 AuDirector，一个自我反思的闭环多智能体框架。具体来说，它涉及一种身份感知预制作机制，将叙述文本转换为角色概况和话语级情感指令，以检索合适的语音候选者并指导表达性语音合成，从而促进上下文一致的语音适应。为了提高质量，协作合成和校正模块引入了闭环自校正机制，可以系统地审核和重新生成有缺陷的音频组件。此外，人工引导的交互式细化模块通过解释自然语言反馈以交互地细化底层脚本来促进用户控制。实验表明，与最先进的基线相比，AuDirector 在结构连贯性、情感表达力和声音保真度方面实现了卓越的性能。音频样本可以在 https://anonymous-itsh.github.io/ 找到。