FleetAgent：通过矢量化 V2N 消息实现自主车队的远程操作助手

大规模自动驾驶车队依靠远程操作来解决罕见的故障，但从许多车辆流式传输原始传感器数据成本高昂，而且远程操作员一次只能监控有限数量的车辆。我们介绍 FleetAgent，这是一种云托管的多模式 大语言模型 (MLLM) 助手，它使用紧凑的矢量化车辆到网络 (V2N) 消息，例如地图元素、检测到的对象和自我规划的路径。它提供结构化的自然语言响应（包括叙述、解释以及对计划和场景的评估），以及操作员优先级的干预紧急度评分。为了使结构化消息与基于词元的 MLLM 兼容，我们提出了 VecFormer，这是一种向量到嵌入接口，具有可微分的 top-K 上下文选择，可以限制上下文长度和 GPU KV 缓存增长，从而实现更高效的批处理，这在云托管的大规模车队管理的上下文中非常重要。我们还构建了 VecEval，这是一个源自 nuScenes 的数据集，其中包含配对的人类和合成的不完美计划以及经过人类验证的语言标签，以促进我们提出的系统的训练和评估。我们提出的系统与原始图像相比，可以将上行链路有效负载减少多达 625 倍，与原始文本描述相比，可以将 KV 缓存内存减少 16.54 倍。在 VecEval 上，与使用语言描述的 Qwen2.5-VL-7B 相比，FleetAgent 将 Lingo-Judge 评分提高了 16.8%，干预失败率降低了 19.9%。这些结果表明，FleetAgent 可以利用结构紧凑的 V2N 消息传递来为自主车队实现高效、可解释的远程操作监控。