物理 AI 的面向目标的通信：设计和测试平台

物理人工智能依赖频繁更新、对延迟敏感的视频流来感知、推理并与物理世界交互，从而导致严格的延迟要求和现有 5G 网络无法支持的更高数据量。面向目标的通信（GoC）提供了一种有前景的方法，通过仅传输与任务相关的语义表示来解决这一挑战。然而，现有的GoC框架主要在模拟中进行评估，而其有效性从未在物理人工智能应用的实际部署中得到验证。在这项工作中，我们开发了一个用于物理 AI 的端到端 GoC 测试台，该测试台通过 5G OpenAirInterface 网络将配备 RGB-D 摄像头和 5G 调制解调器的 PiPER 机器人手臂连接到 NVIDIA Jetson AGX Orin 边缘服务器。我们提出并实现了三个 GoC 框架，分别传输 3D 边界框、2D 场景图和 3D 场景图作为三种类型的语义表示。它们共享为闭环物理人工智能应用设计的通用功能模块，包括语义提取、全栈5G传输、语言模型推理、数字孪生验证和机器人控制。在我们的测试平台上进行的大量实验表明，与定期传输原始图像数据的传统框架相比，我们的 GoC 框架将任务完成时间缩短了 52.6%，并将任务成功概率提高了 45%。这些结果验证了我们的 GoC 框架的实际有效性，并为未来 6G 网络上高效可靠的物理 AI 应用铺平了道路。项目网站：https://sites.google.com/view/goc-physical-ai-testbed。