具有光泽引导边界感知对齐的以运动学为中心的连续手语检索

手语-文本对齐仍然是文本驱动的手语理解的基本挑战。现有方法主要依赖于外观重的 RGB 表示，这将运动语义与视觉变化纠缠在一起，并导致模糊的运动与语言的定位关联。在本文中，我们在结构化运动学空间中重新表述了手语-文本对齐，并提出了一种以运动学为中心的框架，采用 3D SMPL-X 运动作为主要表示。通过在统一的运动空间中显式地建模手语的运动动力学，我们的方法减少了对外观信号的依赖，并产生了语义上更加一致的表示。为了捕捉手语的组成性质，我们引入了一种注释引导的局部对齐机制，该机制利用注释时间跨度作为弱监督，将连续运动分解为连贯的片段并建立细粒度的运动文本对应，从而减少连续签名中本地化词级语义的歧义。此外，我们开发了一种视觉蒸馏策略，其中 RGB 信号在训练期间充当特权监督，以提供补充的上下文线索，同时在推理时被完全删除。对标准基准的大量实验表明，我们的方法在 CSL-Daily 上实现了最先进的双向检索性能，在 PHOENIX-2014T 上实现了有竞争力的结果。这些结果强调了运动学表示和明确的局部对齐对于手语文本对齐的有效性。