论文

迈向人在环机器人故障恢复:弥合人机协作中的沟通差距

Toward Human-in-the-Loop Robot Failure Recovery: Bridging Communication Gaps in Human-Robot Collaboration

模型评测基准与评测资源

摘要

机器人可以通过向旁观者寻求帮助来从故障中恢复,但有效的人机交互恢复需要考虑到人们知识差异的沟通。先前的逆语义工作使用单个侦听器模型生成请求,而未测试侦听器知识的差异。我们介绍了人机交互中的听众差异 (LD-HRI),这是一种通过人类听众表现来评估演讲者的游戏、数据集和基准。我们的评估在受控的听众信息差异下检查请求属性、大语言模型 (LLM) 说话者和逆语义请求选择算法。该语料库包含 446 个人工编写的请求和 1{,}302 个听众试验。我们还在 560 项试验中与 70 名听众一起评估了 24 条冻结的大语言模型撰写的请求。在所有四项任务中,通过模型编写的请求,新手的成功率明显更高,但这两个请求来源都留下了巨大的专家与新手差距,其中大语言模型请求为 16 个百分点。 LD-HRI 使这些差距变得可测量,为在人机交互和人机交互中设计更强大的通信奠定了基础。