Jetson-PI：通过前瞻性异步推理实现机载实时机器人控制

视觉-语言-动作（VLA）模型在各种具体任务上取得了令人印象深刻的表现。然而，在低功耗机载设备（例如 Jetson Orin）上部署 VLA 模型仍然具有挑战性，因为它们的计算复杂性很高，会导致大量的推理延迟和低控制频率。异步推理可以通过并行执行动作和后续推理来部分掩盖这种延迟，但它引入了两个关键问题：感知-执行不一致和反应时间长。在本文中，我们提出了 Jetson-PI，这是一种通过 Foresight-Aligned 异步校正在机载设备上高效部署 VLA 的方法。为了解决错位问题，我们训练了一个轻量级的未来校正模块，该模块可以预测以承诺动作为条件的未来环境表示，使动作专家能够直接预测未来时间步的动作。为了减少反应时间，我们引入了基于置信度的调度优化，可自适应地平衡 VLM 和动作专家调用，并辅以系统级加速，包括 CUDA 图形重用、GPU 驻留中间缓冲和流展开。大量实验表明，与 NVIDIA Jetson Orin 上的朴素 PyTorch 和 vla.cpp 相比，Jetson-PI 在控制频率方面实现了 8.66 倍和 5.41 倍的改进，同时在 LIBERO 基准测试中的平均成功率比 VLASH 高出 14.8%。我们的异步算法的代码可以在 https://github.com/PKU-SEC-Lab/Jetson-PI 上找到，我们基于 llama.cpp 的高效推理引擎可以在 https://github.com/PKU-SEC-Lab/Jetson-PI-Edge 上找到。