论文
学会交接:接口约束下可证明收敛的工作流学习
Learning to Hand Off: Provably Convergent Workflow Learning under Interface Constraints
摘要
我们研究这样一种设定下的工作流学习:专门化智能体通过共享工件交接控制权,每个智能体只观测该工件的局部函数及其自身私有状态,且没有集中式学习器访问联合轨迹——这正是跨越组织、供应商或信任边界的多智能体LLM流水线的运行状态。我们将这一状态形式化为接口约束半马尔可夫决策过程(IC-SMDP),其决策时刻发生在交接时间点上,并设计IC-Q——一种异步去中心化Q学习算法,其中每次交接处的跨智能体协调恰好是一个标量。我们的主要结果是在随机选项时长折扣下神经IC-Q的有限样本界,该界分解为三个可独立控制的误差源:神经函数逼近误差、接口表示差距和混合时间残差。建立该界需要把近似信息状态(AIS)框架从单智能体原始步MDP提升到多智能体SMDP,并控制在随机时长下的马尔可夫噪声,两者在以往工作中均未实现。据我们所知,这是首个针对去中心化部分可观测下神经Q学习的有限样本保证。四组实验——逐项验证该界的受控合成IC-SMDP、多LLM数学推理、多智能体路由和多智能体CPU编程——表明IC-Q在没有任何智能体观测联合轨迹的情况下达到与集中式oracle相当的水平,且三个误差源各自沿对应轴按界的预测缩放。