论文
盲醒:面向依据对齐视觉感知的无监督智能体轨迹冷启动优化
Waking Up Blind: Cold-Start Optimization of Supervision-Free Agentic Trajectories for Grounded Visual Perception
摘要
小型视觉语言模型(SVLM)是高效的任务控制器,但常常存在视觉脆弱性与工具编排能力差的问题。它们通常需要昂贵的有监督轨迹微调来弥补这些缺陷。在本工作中,我们提出SPECTRA(通过级联工具Rollout对齐实现的自监督感知),一个无监督框架,通过面向SVLM的冷启动强化学习引导出智能体能力。SPECTRA实施软结构化多轮Rollout,这一拓扑约束引导智能体在综合之前显式地排序工具导出的证据,从而有效地将推理建立在视觉观察之上。我们采用多目标奖励信号,同时最大化任务正确性、rollout结构与工具效用,使智能体无需人类偏好标签即可自主发现鲁棒行为。我们进一步提出工具工具性效用(Tool Instrumental Utility, TIU),一种在缺乏真实标签时量化工具效能的新指标。在复合基准与分布外(MMMU-Pro)基准上的大量评估表明,SPECTRA增强了智能体轨迹,将任务准确率最高提升5%、工具效率提升9%,使多模态智能体能够仅凭环境交互即可高效学习。
