论文
VAE 设计对基于扩散的手语生成的潜在姿势表示的影响
The Impact of VAE Design on Latent Pose Representations for Diffusion-based Sign Language Production
摘要
手语产生 (SLP) 的潜在扩散方法依赖于学习手语姿势序列编码的初始阶段，从而能够在生成的潜在空间中进行生成建模。此阶段使用的自动编码器通常使用 SLP 中常见的几何度量来评估重建质量。虽然信息丰富，但这些指标并未完全捕获可能影响下游生成模型的训练和性能的潜在空间属性。在这项工作中，我们研究了用于符号姿势编码的变分自动编码器（VAE）中的架构和训练目标设计选择如何影响潜在空间结构，以及这些差异如何转化为文本到符号生成的潜在扩散模型的性能。我们在 Phoenix14T 数据集上的实验表明，通过反向翻译 BLEU 分数测量的生成性能的变化有时可以通过潜在空间属性的差异来解释，而不是单独通过 VAE 重建精度来解释。