Triplet2Track：具有以对象为中心的表示的分层系统，用于可靠的长视野操作

对于长视距机器人操作来说，确保不确定环境中的可靠性仍然很困难。端到端VLA模型数据量大且不透明，使得诊断和验证变得困难。分层管道更容易解释，但它们的计划往往缺乏观察基础，与底层动作的一致性较差，并且在没有在线反馈的情况下进行计算，从而导致开环行为和幻觉。为了解决这些问题，我们引入了 Triplet-to-Track System (TTS)，这是一种闭环长视野模仿学习系统，它使用人类视频来减少对机器人收集数据的依赖。 TTS 将高级子目标表示为基于实例的三元组，将它们转换为执行的连续跟踪先验，并根据观察监视任务进度以进行在线重新规划。在各种现实世界的长期任务中，TTS 实现了 74.8% 的平均成功率，并支持对象级和组合泛化。