论文

VideoResearcher:长视频理解的自我改进工具设计

VideoResearcher: Self-Improving Tool Design for Long-Video Understanding

智能体系统Agent 工具调用

摘要

视频智能体在长视频理解方面取得了实质性进展。然而,有效的视频代理系统需要昂贵且耗时的手动设计和反复试验。当前的自我改进方法要么完善低影响提示,重新组合预定义的微型工具,要么努力解决Harness优化的收敛问题。为了弥补这一差距,我们将目标定为高影响力的视频工具 VideoResearcher,这是一种无需训练的多代理框架,可以像人类研究人员一样自主设计、测试和完善视频理解工具。 VideoResearcher 通过双重求解和进化循环进行操作:它分析工具使用轨迹来识别能力差距,协调专门代理来开发和验证可执行工具,并重用进化工具来加强后续视频推理中的证据获取。通过迭代工具细化和验证,它逐步加强证据获取,而无需更新模型参数。 VideoResearcher 在自我改进的智能体中实现了最先进的性能,并接近人类设计的上限,展示了一种无需训练的长视频理解范例,通过自主工具开发扩展智能体的能力,同时减少昂贵的手动工程。