论文
用于相机优先视觉代理的内存调节工具调用
Memory-Conditioned Tool Calling for Camera-First Visual Agents
摘要
识别告诉代理图像中的内容;个人记忆会影响接下来值得查找的内容。在相机优先设置中,用户只能发送图像,因此代理必须形成查找。我们研究个人视觉记忆是否可以改善代理端工具选择和工具参数,从而实现更符合用户需求的多工具查找。该设计使用三层个人视觉记忆(轮廓、短期焦点、观察),在每次转动时加载,以在相机优先摄取下调节 LLM 工具调用循环,并包括冲突感知写回,旨在刷新用户模型以供以后捕获。在与为受控消融而构建的合成内存块配对的 800 个图像上,删除完整的三层内存块可将工具查询相关性降低 0.47 分绝对值(5 分制为 4.21 -> 3.74;相对值 11.2%),端到端实用性降低 0.082 绝对值(0.842 -> 0.760;相对值 9.7%)。这些结果测量了使用固定合成块的仅图像摄入下工具策略的内存调节,而不是来自实时用户历史记录的多会话写回。