探索潜在音频分词器中的分词空间操作

神经音频编解码器为语音生成和操作提供紧凑的离散表示。然而，大多数编解码器将标记组织为帧级序列，使得研究或干预全局变化因素变得困难。在这项工作中，我们提出了用于标记空间编辑的潜在音频标记器（LATTE），它将一组固定的可学习潜在标记附加到音频特征序列中，并仅保留这些标记用于量化和解码。这种设计产生了一个紧凑的、非时间对齐的瓶颈，其中每个词元都可以聚合整个话语中的全局信息。我们表明，最终的标记器在低比特率语音编码设置中保留了有竞争力的重建质量，同时实现了简单的标记空间干预。特别是，我们发现在话语之间交换选定的潜在标记位置可以修改全局属性，例如说话者身份和背景噪声，并且我们评估了这些对语音转换和去噪任务的干预措施。我们的结果表明，紧凑的潜在音频标记器可以支持可控的音频操作，而无需在特定于任务的编辑模型中进行监督。