论文

ANDES:面向自主指令对齐的智能体原生数据演化合成工具

ANDES: Agent Native Data Evolving Synthesis Tool for Autonomous Instruction Alignment

模型训练智能体系统合成数据Agent Skills

摘要

AI智能体正越来越多地承担自动化AI研究自身的任务,尤其是将基座LLM转变为对齐助手的关键后训练阶段。然而近期的评估显示,即便是前沿智能体也难以完成这项任务。虽然后训练的成功从根本上依赖获取高质量数据,但让智能体自主地从开放网络策编有针对性的训练数据集会带来严峻挑战。在嘈杂的网络环境中执行搜索、过滤和平衡数据这类长时程任务,经常超出智能体有限的上下文,最终导致数据集质量下降和下游训练表现欠佳。为弥合这一差距,我们提出Andes(Agent Native Data Evolving Synthesis,智能体原生数据演化合成),该框架将数据生成重新构想为一种即插即用的智能体技能。Andes不强迫智能体从零设计复杂的数据收集策略,而是提供一个智能抽象层。借助自演化的World Tree路由机制和可操作的诊断报告,它让训练者智能体能够通过交互式闭环接口动态引导数据合成。我们证明,在严格的算力约束下,为底子较弱的智能体配备Andes能改进自动化对齐,在PostTrainBench上取得最先进表现并获得稳健的跨任务泛化。项目见 https://github.com/zzy1127/ANDES。

ANDES:面向自主指令对齐的智能体原生数据演化合成工具:论文配图
图1:Andes在PostTrainBench达SOTA,较GLM-4.7基线对齐性能跃升至33.4%,超Opus-4.7约4.8%。