通过不确定性引导的弃权意识个性化对象重新排列 LLM 协助

家庭环境中的机器人辅助不仅需要预测物体应该放置在哪里，还需要推理何时根本不应该放置物体。现有的个性化对象重新排列方法主要侧重于在清晰的观察和完整的可操作性假设下的放置决策，限制了它们在现实、混乱和部分错误的设置中的适用性。在本文中，我们介绍了 APOLLO，这是一种用于弃权意识个性化对象重新排列的混合框架，它将轻量级个性化嵌入模型 (PEM) 与选择性 大语言模型 (LLM) 辅助相结合。 PEM 使用少量演示针对每个用户环境对进行训练，完全在 CPU 上运行，并生成不确定性估计，用于有选择地调用基于 LLM 的推理，仅用于不明确的决策，平衡效率、隐私和推理能力。为了评估这种超越现有基准的公式，我们引入了 APOR，这是一个 LLM 生成的合成数据集，它捕获房间级别、多家具环境、不同的组织概况、明确的弃权行为和嘈杂的部分场景上下文。对 PARSEC 和 APOR 的大量实验提供了初步证据，表明 APOLLO 在受控基准设置中比之前基于 LLM 的基线有所改进，同时大幅减少了 LLM 的使用。 Code is available at https://github.com/PaInt-Lab/APOLLO.