具有不确定性引导 LLM 推理的个性化且强大的主动机器人辅助

家庭环境中的主动机器人辅助需要在动态和噪声条件下准确预测人类活动和物体使用情况。现有的方法通常依赖于复杂的时空模型，该模型的计算成本很高并且对环境变化敏感。在本文中，我们提出了 GLOBE，这是一个轻量级框架，它将用于捕获时间行为模式的 n-gram 马尔可夫模型与不确定性引导的 大语言模型 (LLM) 推理相结合。该框架有效地执行顺序预测，同时仅在模型置信度较低时选择性地调用 LLM 推理。为了评估现实条件下的性能，我们引入了 HOMER-Noise，这是 HOMER+ 数据集的噪声扩展，用于模拟结构化干扰，例如由人类、宠物和幼儿引起的物体运动。实验结果表明，GLOBE 通过最先进的方法实现了具有竞争力的性能，同时提高了干净和噪声环境下的鲁棒性和计算效率。该框架通过与 Stretch 3 移动操纵器的概念验证集成得到进一步验证，展示了其在现实世界人机交互场景中的潜在应用。