使用富有表现力的机器人头的自适应 HRI 的混合注意力估计管道

本文介绍了使用基于 InMoov 生态系统的富有表现力的机器人头部进行人机交互的混合视觉注意力估计的应用案例研究。所提出的管道将快速几何感知层与基于视觉语言模型的独立语义感知层相结合。几何层提供用于时间调节的高频面部和头部姿势信息，而语义层仅接收原始的以自我为中心的相机帧，并生成与对机器人的注意力、电话使用或其他地方的注意力相关的上下文注意力标签。这些信号通过有限状态机集成，该状态机调节自适应交互行为，包括激活、等待、交互恢复和返回静止。该系统由 10 名参与者在 40 项涵盖基线和自适应交互条件的试验中进行了评估。结果显示，所有试验的交互开始可靠，自适应分心条件下的一致暂停行为，以及几何和语义输出之间的非冗余语义信息。