论文

MA-Bench:迈向细粒度的微动作理解

MA-Bench: Towards Fine-grained Micro-Action Understanding

模型评测基准与评测资源

摘要

随着多模态 大语言模型 (MLLM) 的快速发展,由于缺乏专门的基准,它们在微动作理解(人类情感分析中的重要作用)方面的潜力仍未得到开发。为了解决这个问题,我们提出了 MA-Bench,这是一个由 1,000 个视频和一个三层评估架构组成的基准,可逐步检查微动作感知、关系理解和解释推理。 MA-Bench 包含 12,000 个结构化问答对,可以对识别准确性和动作解释进行系统评估。 23 个代表性 MLLM 的结果表明,在捕捉运动粒度和细粒度身体部位动力学方面存在重大挑战。为了应对这些挑战,我们进一步构建了 MA-Bench-Train,这是一个大规模训练语料库,包含 20.5K 视频,并为 微调 MLLM 注释了结构化微动作描述。 Qwen3-VL-8B 在 MA-Bench-Train 上微调的结果显示,微动作推理和解释任务的性能得到明显改善。我们的工作旨在建立一个基础基准,以促进 MLLM 理解微妙的微动作和人类相关行为。项目页面:https://MA-Bench.github.io