论文
TREX：通过智能体驱动的树状探索实现LLM微调自动化
TREX: Automating LLM Fine-tuning via Agent-Driven Tree-based Exploration
摘要
尽管大语言模型（LLM）已赋能AI研究智能体执行孤立的科学任务，但自动化LLM训练这类复杂的真实世界工作流仍是重大挑战。本文提出TREX，一个将LLM训练全生命周期自动化的多智能体系统。通过编排Researcher与Executor两个核心模块之间的协作，该系统无缝完成需求分析、开放域文献与数据调研、训练策略制定、数据配方准备以及模型训练与评估。多轮实验过程被建模为搜索树，使系统能够高效规划探索路径、复用历史结果，并从迭代试验中提炼高层洞见。为评估自动化LLM训练能力，我们构建了FT-Bench，一个由源自真实场景的10个任务组成的基准，涵盖从优化基础模型能力到提升领域特定任务表现。实验结果表明，TREX智能体能在目标任务上持续优化模型性能。
