iMiGUE-3K：具有自我监督学习功能的微手势分析大规模基准

情感理解是情感计算和人工智能的基本挑战。虽然现有的方法主要关注面部表情和言语，但它们常常忽视通过肢体语言传达的丰富情感线索。最近，微手势（MG），即由内心感受驱动的无意识的、潜意识的动作，作为其他线索的替代品引起了越来越多的关注。然而，目前还没有支持 MG 基础模型 预训练 的大规模数据集。为了推进 MG 研究，我们提出了基于微手势的情感理解的新基准，其中包括新颖的数据集 (iMiGUE-3K) 和一系列针对不同任务的基础模型的关键贡献。使用基于模型的众包数据收集策略，我们构建了迄今为止最大的 MG 数据集 iMiGUE-3K。它包含过去七年中 332 名不同职业网球运动员的公开媒体采访视频，总计超过 3400 个长视频片段和 3700 万帧。该数据集包括 32 个微手势类别，具有丰富的描述性注释，使其成为第一个用于基于手势的细粒度情感分析的大规模野外视频数据集。基于 iMiGUE-3K，我们提出了 MG-FM，这是一种用于可转移手势演示学习的判别性基础模型。基于基础模型，我们建立了五个综合评估任务：MG识别（无监督、半监督、监督）、MG检索和MG情感识别。我们对代表性方法的系统评估表明，基于微手势的分析可以显着提高情绪理解。我们希望这项工作能够为 MG 分析提供全面的工具，并为未来的心理诊断、情感计算和高级人机交互研究奠定坚实的基础。