AnyUser：将草拟的用户意图转化为家用机器人

我们推出了 AnyUser，这是一个统一的机器人指令系统，通过相机图像上的自由形式草图（可选语言）进行直观的家庭任务指令。 AnyUser 将多模态输入（草图、视觉、语言）解释为空间语义基元，以生成不需要事先地图或模型的可执行机器人动作。新颖的组件包括用于理解的多模式融合和用于生成稳健行动的分层策略。有效性通过广泛的评估来证明：（1）大规模数据集的定量基准显示在解释各种模拟家庭场景中的各种基于草图的命令方面具有很高的准确性。 (2) 在两个不同的机器人平台（静态安装的 7 自由度辅助臂 (KUKA LBR iiwa) 和双臂移动机械手 (Realman RMC-AIDAL)）上进行真实世界验证，执行有针对性的擦拭和区域清洁等代表性任务，确认系统能够在物理环境中可靠地执行指令并执行这些指令。 (3) 一项涉及不同人群（老年人、模拟非语言、低技术素养）的综合用户研究，表明可用性和任务规范效率显着提高，实现了较高的任务完成率（85.7%-96.4%）和用户满意度。 AnyUser 弥合了先进机器人功能与可访问的非专家交互需求之间的差距，为适应现实世界人类环境的实用辅助机器人奠定了基础。