论文
VISA:用于 Interspeech 2026 ARC Agent Track 的视觉信息强化音频推理系统
VISA: A Visual Information Strengthened Audio-Reasoning System for the Interspeech 2026 ARC Agent Track
摘要
音频推理需要对时间动态和声学混合信号进行多步骤、基于证据的推理,这超出了 ASR 或字幕等传统感知任务。我们展示了 VISA,这是我们向 Interspeech 2026 音频推理挑战赛(Agent Track)提交的作品,通过 MMAR Rubrics 评估了正确性和推理质量。在“LALM 作为工具”范式下,VISA 通过辅助多模态证据增强大型音频语言模型,同时避免繁重的编排。该系统集成了三个组件:用于补充音频和声视觉线索的多模态特征提取、通过一致性检查进行稳定预测的模型投票推理、以及用于解决分歧并选择符合规则的推理链的细粒度类别感知路由。在官方 Agent Track 排行榜上,VISA 以 66.23% Rubrics 得分排名总体第二。它还实现了 77.40% 的准确率,是单一模型和代理轨道上列出的所有系统中最高的。