论文
LUMINA-26:低光理解,用于建模和解释夜间行为
LUMINA-26: Low-Light Understanding for Modeling and Interpreting Night-time Actions
摘要
由于照明不良、噪声放大、运动模糊和现实世界场景多样化,低光人类动作识别仍然是一个具有挑战性的问题。现有的低光数据集通常缺乏足够的动作多样性、捕捉真实性或平衡的类别分布,限制了稳健模型的开发。为了解决这个问题,我们推出了 LUMINA-26:用于建模和解释夜间动作的低光理解,包括 26 个动作类别的 6,784 个剪辑,是在自然发生的低光条件下从 20 个室内和室外地点的 22 个受试者记录的。我们还提出了 Illumi-Net:一种照明自适应专家混合网络,它利用视频级照明线索来指导自适应增强和基于 Transformer 的时空特征提取,并具有专家条件决策融合。我们的方法超越了 ELLAR 上之前最先进的性能(Top-1:55.13%,Top-5:78.87%),并在 LUMINA-26 上建立了强大的基线(Top-1:75.95%,Top-5:93.58%),为未来的弱光动作识别研究提供了实用的基准。