OLIVE：针对语音 SSL 的视图增强潜在预测和波形重建

我们提出了具有不变视图和重建的在线潜在预测（OLIVE），这是一种自监督语音表示学习框架，可联合优化分析和合成目标。 OLIVE 在统一目标下将视图增强掩模潜在预测与波形重建相结合。重建限制早期编码器特征以保留信号级信息，而屏蔽潜在预测塑造后来的上下文表示以实现稳健的下游性能的不变性。我们表明，这些目标使得表示能够支持广泛的任务。特别是，OLIVE 改进了生成和说话人任务的结果，保持了识别和语义任务的竞争性能，并改进了波形重建。