使用 Mimi 编解码器进行元语言表示

在本文中，我们重点关注 Mimi 语义标记码本（Moshi 语言模型的神经编解码器）中使用的 2048 个标记的字典。我们表明，用 Mimi 进行的 ABX 实验未能捕获语义标记到电话实现的映射。通过将 Mimi 表示重新与 TIMIT 语料库转录对齐，我们表明语义码本的 2048 个标记 ID 映射到四音素、三音素、双音素、音素和子音素实现。