从绿野仙踪人机对话收集到机器人响应决策分类：辅助飞行员交互的回顾性分析

在日常室内环境中遵循自然语言指令的机器人必须对不完整的人类话语采取行动。说明通常会省略重要信息，例如视野外物体的身份、预期目的地或用户的目标。现有的数据集几乎不包含现实世界中的对话，也几乎没有提供基于实践的标准来决定机器人何时应该采取行动、确认、澄清或拒绝。我们回顾性地分析了一项试点绿野仙踪研究，其中五名参与者使用安装在轮椅上的移动机械手执行日常室内任务，包括开门、抽屉打开、喂食、喝水和清洁，而巫师在没有正式沟通政策的情况下做出反应。这保留了真实的用户行为，但产生了不一致的机器人端决策，从而激发了明确的决策方案。从 40 个情节中，我们得出了六种响应模式（回答、报告完成、拒绝、确认、澄清、行动）和四种歧义类型（意图、参考、空间、可理解性）的分层分类法。两名人类注释者和一名人工智能注释者将该方案应用于试点数据。清洁标签率分别为 91% 和 89%，在人与人以及人与 AI 比较的决策点、模式和模糊性水平上，Cohen 的范围为 0.72 到 0.95。在 ACT 和 CLARIFY 的分类法衍生标签上微调 LLaVA-1.6-7B 表明使用我们的分类法注释训练视觉语言模型的可行性。决策点识别和 REPORT_DONE 中的剩余边界情况激发了约束协议以实现更一致的对话收集。