Ace-Skill：经优先化与聚类演化引导多模态智能体

自我进化代理通过将任务交互提炼成可重用的知识工件，为持续适应提供了一条有前途的道路。在实践中，这种范式仍然受到两个耦合瓶颈的阻碍：数据效率低下，昂贵的采样轨迹工作不成比例地花费在低价值样本而不是信息丰富的样本上；以及知识干扰，存储在共享存储库中的异构知识导致嘈杂的检索和任务不一致的指导。这些问题共同形成了一个自我强化的失败循环，其中无信息的采样轨迹会产生嘈杂的知识，进而降低后续的采样轨迹质量。在这项工作中，我们引入了 Ace-Skill，这是一个共同进化框架，可以联合优化自我进化多模态代理的部署分配和知识组织。具体来说，Ace-Skill 将优先采样器与惰性衰减熟练度跟踪相结合，将重点放在信息丰富且掌握不足的样本上，并结合了一个集群组织器，可以在语义上对知识进行聚类，以实现更清晰的检索和更可靠的适应。通过共同改进采样和组织，Ace-Skill 将自我进化转变为良性循环，其中信息更丰富的推广会产生更高质量的知识，从而支持更强大的后续推广。在四个多模态工具使用基准测试中，Ace-Skill 取得了巨大的进步（例如，Avg@4 准确度相对提高了 35.46%），使开源 35B MoE 模型能够匹配或超越专有模型。获得的知识还可以以零样本的方式有效地转移到较小的 9B 和 4B 模型，从而允许资源受限的智能体继承高级功能，而无需额外的训练。该代码已在 https://github.com/AMAP-ML/Ace-Skill 上公开发布。