SHOE：语义 HOI 开放词汇评估指标

开放词汇人与物体交互（HOI）检测是朝着构建可扩展系统迈出的一步，该系统可推广到现实世界场景中看不见的交互，并支持推理人与物体关系的以视觉为依据的多模态系统。然而，标准评估指标，例如平均精度 (mAP)，将 HOI 类别视为离散分类标签，并且无法认可语义上有效但词汇上不同的预测（例如，“靠在沙发上”与“坐在沙发上”），从而限制了它们评估超出任何预定义 HOI 标签集的开放词汇表预测的适用性。我们引入了 SHOE（语义 HOI 开放词汇评估），这是一种新的评估框架，它结合了预测标签和 真值 HOI 标签之间的语义相似性。 SHOE 将每个 HOI 预测分解为其动词和宾语成分，使用多个 大语言模型 (LLM) 的平均值来估计它们的语义相似性，并将它们组合成相似度分数以评估超出精确字符串匹配的对齐情况。这使得能够使用 HICO-DET 等标准基准对现有 HOI 检测方法和开放式生成模型进行灵活且可扩展的评估。实验结果表明，与现有指标（包括基于 LLM 和基于嵌入的基线）相比，SHOE 评分更符合人类的判断，与人类平均评分的一致性达到 85.73%。我们的工作强调了基于语义的 HOI 评估的必要性，以更好地反映人类对交互的理解。我们将向公众发布我们的评估指标，以方便未来的研究。