论文

基于蒙特卡洛树搜索的智能体技能双层优化

Bilevel Optimization of Agent Skills via Monte Carlo Tree Search

智能体系统Agent Skills

摘要

智能体技能(skills)是指令、工具与配套资源的结构化集合,用于帮助大语言模型(LLM)智能体执行特定类别的任务。实证证据表明,技能的设计会实质性影响智能体的任务表现,然而系统性地优化技能仍具挑战。由于技能以结构化方式包含指令、工具与配套资源,优化它需要同时确定这些组件的结构以及每个组件所包含的内容。这就产生了一个结构与组件之间强相互依赖的复杂决策空间。因此,我们将这两个耦合的决策表示为技能结构与组件内容,并把技能优化形式化为一个双层优化问题。我们提出一个双层优化框架:外循环采用蒙特卡洛树搜索(Monte Carlo Tree Search)确定技能结构,内循环则在外循环选定的结构内精炼组件内容。在两个循环中,我们都使用 LLM 辅助优化过程。我们在一个开源的运筹学问答数据集上评估所提框架,实验结果表明,双层优化框架提升了配备优化后技能的智能体的表现。

基于蒙特卡洛树搜索的智能体技能双层优化:论文配图
图1:智能体技能模块的双层优化架构,借助蒙特卡洛树搜索在技能空间中迭代搜索并优化技能配置。