RTPolicy：压缩多视角基础视觉表征以支持边缘实时双臂操作

摘要

低推理延迟对于闭环机器人操作至关重要，特别是在异步推理下，必须及时更新动作块以纠正累积的偏差。然而，现有的视觉运动策略依赖于计算成本昂贵的视觉主干，导致较高的推理延迟和部署开销。在本文中，我们提出了 RTPolicy，一种多视图视觉运动策略，可以以高推理效率实现精确操作。其核心设计将视图感知特征融合与视觉压缩相结合，将摄像机视图中的互补信息聚合成紧凑的令牌表示。该表示与机器人状态、流时间共同作为流匹配动作生成器的条件，从而降低了动作生成的成本。大量的实验表明，这种设计降低了视觉表示和动作生成的计算成本，同时保留了操作所需的视觉信息。在针对 50 个任务的 RoboTwin~2.0 单任务clean设置评测中，RTPolicy 的平均成功率为 52.26%，优于最强的排行榜基线 $π_0$ (46.4%)。我们进一步在真实双臂平台上的异步流推理下评估 RTPolicy，其中 RTPolicy 的平均成功率为 72.0%，并在 RDK S600 上以 30.35 毫秒（32.9 Hz）维持实时推理，在 RDK S100 上以 149.72 毫秒（6.7 Hz）维持实时推理，两个平台均采用INT16精度。项目页面：https://d-robotics-ai-lab.github.io/RTPolicy.project.

2610.41625v1：论文原图 — 图1：RTPolicy设计、视觉编码成本与部署性能。上方面板展示轻量编码器、视角感知特征融合、视觉压缩和四步流生成。中间面板显示VO-DP的编码器占时延52%；π0.5的编码器占比虽更小，但多视角视觉条件使总时延更高。下方面板报告RDK S100与RDK S600上INT8端到端时延与平均成功率的关系。RTPolicy在两设备上均结合了最高平均成功率与低时延。成功率来自GPU评估配置，并非对每台设备分别开展的任务评估。