论文

MemeMind:用于离线上下文优化的参考引导跟踪构建

MemeMind: Reference-Guided Trace Construction for Offline Context Optimization

上下文与知识上下文工程

摘要

离线上下文优化通过修改指令和示例来改进代理,同时保持模型冻结。此方法从适配集的执行轨迹中学习,但某些查询仅产生失败的执行轨迹。在这些情况下,优化器看不到可用工具如何得出正确答案的成功示例。我们推出了 MemeMind,它使用离线参考答案来恢复这种缺失的体验。 TraceBuilder 识别参考所需的证据,执行文本搜索、图像检索和视觉基础,并在将结果添加到适应缓冲区之前验证生成的工具跟踪。然后,ToolGuide 将收集到的跟踪汇总为共享指南和每个工具的单独说明。参考答案和构建的轨迹仅在适应过程中使用,而推理则使用学习到的指南和冻结模型。我们通过动漫、漫画和游戏模因解释来研究这个问题。这些模因结合了经过编辑和模糊的视觉内容、重叠文本、长尾特许经营知识和文化特定参考。它们的解释可能需要协调的视觉基础、图像检索和文本搜索,这使得它们成为一个要求很高的环境,在这种环境中,自主执行轨迹组可能会一起失败。我们在 MemeX 上评估 MemeMind,MemeX 是由专家注释的 1,000 个此类模因的基准。在两个 Qwen3-VL 模型、两个语言分区和两个独立评审中,MemeMind 在 GPT-5 评审下,在 Qwen3-VL-30B-A3B 上比最强上下文优化基线提高了 22.0% 和 21.1%,在 Qwen3-VL-235B-A22B 上提高了 8.1% 和 8.0%。消融和保留的痕迹表明,为失败的群体构建成功的工具使用可以提供最大的组件增益,并在推理时产生更有效的证据获取。