论文
UniTraffic-Agent:2026 年人工智能城市挑战赛第 3 轨道的统一交通视频推理,包含两项域外评估
UniTraffic-Agent: Unified Traffic Video Reasoning for AI City Challenge 2026 Track 3 with Two Out-of-Domain Evaluations
摘要
交通视频理解已成为智能交通中的一个重要问题,因为道路视频为事故、违规以及车辆与弱势道路使用者之间的互动提供了直接证据。一个有用的系统应该解释交通事件如何发展、为什么会发生以及相关交互何时发生,但这对于多模式 大语言模型 (MLLM) 来说仍然很困难,因为交通视频包含稀疏事件和不同的观点。我们介绍 UniTraffic-Agent,这是第十届人工智能城市挑战赛 Track~3 的 MR-CAS 解决方案,其中包括交通异常推理 (TAR) 和两个域外评估:用于鱼眼交通事件的 FETV 和用于行人意图推理的 PSI-VQA。 UniTraffic-Agent 遵循观察-推理-行动-验证工作流程,对带时间戳的视觉证据进行采样,对一个请求中同一剪辑中的所有问题进行推理,并通过特定于任务的操作适配器转换响应。在官方公共排行榜上,MR-CAS 在 TAR 上排名第 16 位,得分为 0.5780,在 FETV 上排名第二,得分为 0.4884,在 PSI-VQA 上排名第四,得分为 64.4161。该代码可在 https://github.com/Roclp/UniTraffic-Agent 获取。