打破 15% 的障碍：由用户非语言提示触发的主动社交机器人的真实数据驱动系统

零售商店中的服务机器人越来越依赖级联语音管道 (STT-LLM-TTS)，但许多客户与机器人交互是由非语言行为发起或引导的，例如接近、挥手、指向或展示商品。本文研究了遥控人形机器人在现实世界商店部署中的此类提示，并表明机器人转弯的一个不可忽视的部分是由非语言行为而不是口头输入触发的，揭示了纯音频对话系统的局限性。在为期 6 天的野外部署中，15.3% 的机器人话语是由用户的非语言行为而不是口头输入发起的。基于对观察到的客户行为的分析，我们定义了一组频繁的、与服务相关的非语言线索，并开发了一个通过视频在线运行的实时多人、多标签识别器。然后，我们提出了一个对话框架，该框架在识别的非语言提示标记上调节基于 LLM 的话语生成，并在显示项目时选择性地利用视觉语言模型，从而无需手工制定规则即可实现主动机器人响应。我们在非语言触发的回合中离线评估该方法，并演示了一个实时对用户非语言提示做出反应的在线原型。