Josh Talks 的 Human-1：使用真实世界对话的印地语全双工对话建模框架

全双工口语对话系统可以模拟自然对话行为，例如中断、重叠和反向通道，但印度语言的此类系统在很大程度上仍未得到探索。我们通过采用最先进的双工语音架构 Moshi，使用定制的印地语分词器，并对从 14,695 个具有独立说话人通道的说话者收集的 26,000 个小时的真实自发对话进行训练，推出了第一个开放的、可复制的全双工印地语口语对话系统，从而能够直接学习自然交互中的轮流和重叠模式。为了支持印地语文本生成，我们替换了原始的英语分词器并重新初始化文本词汇相关参数，同时保留预先训练的音频组件。我们提出了一个两阶段的训练方案——大规模 预训练，然后是 微调，对 1,000 小时的对话数据进行训练。通过自动指标和人类判断的提示对话延续范式进行的评估表明，所得模型可以生成自然且有意义的印地语全双工对话行为。这项工作是朝着印地语和其他印度语言的实时双工口语对话系统迈出的第一步。