Andha-Dhun：初看印地语音频描述

摘要

音频描述 (AD) 在视听媒体的间隙为盲人和低视力 (BLV) 观众讲述视觉内容。电影和电视节目中广告的势头不断增长，并且根据印度中央电影认证委员会 (CBFC) 的授权，有必要将广告扩展到英语以外的领域。然而，还没有为任何印度语言生成 AD 的工作。为了解决这一差距，我们首次对印地语 AD 进行了系统研究，在数据、生成和评估等方面做出了贡献。我们介绍 Andha-Dhun，这是从 8 部完整电影中收集的人类创作的印地语广告的第一个数据集。我们探索了两种生成印地语广告的方法：(i) 直接从英语密集视频描述中生成广告，以及 (ii) 将英语广告翻译成印地语。我们使用困惑度和 LLM 作为评判指标来评估这些方法，分别评估流畅度和质量。我们还分析了同时包含英语和印地语人工创作广告的电影，发现与原始印地语广告相比，幼稚的翻译引入了伪影并缩小了多样性。直接机器翻译无法适应文化参考，而人工翻译的广告做得更好，但仍然存在不足。我们的研究结果强调，印地语广告的目的是让印度 BLV 受众能够轻松访问，这需要为受众调整内容，而不仅仅是严格忠实于来源。