代理路由：Harness-Native 数据飞轮

大语言模型 代理越来越多地不再由单个模型调用执行，而是由管理观察、上下文、控制、操作、状态和验证的执行工具执行。与此同时，前沿和开放模型在结构上正在变得专业化：擅长代码编辑、长上下文恢复、工具使用、数学推理或低延迟响应的模型可能不会在其他轴上占据主导地位。这使得代理内部的模型选择成为核心系统问题，而不是每个查询的服务技巧。现有的路由方法大多优化单轮成本质量权衡，因此错过了执行状态、中间故障和反馈循环，这些使得代理与聊天完成不同。我们提出了 Harness-Native 代理路由，这是一种步骤级路由范例，它选择单个最适合的模型来实现经济高效的执行，或者选择多个互补模型来实现集成式精度的提高，以完整的Harness状态为条件。关键的见解是，每个路由决策都会自然地生成一个结构化数据记录，其中包括查询、Harness状态、模型选择或模型集、执行跟踪、结果和成本，其标签由环境而不是路由器本身提供。这些记录形成了Harness原生数据飞轮：执行跟踪可以训练更好的路由器和Harness原生模型，从而改善成本质量权衡并在相同预算下生成更多跟踪。我们在 OpenSquilla 中用一个四层路由堆栈、一个开放的 LightGBM 冷启动排序器和一个分阶段的路由器模型路径来实例化这个想法，该路径将记录的竞技场记录转变为逐渐更强的路由策略。该报告在包括 DRACO 和 PinchBench 在内的代理基准上研究了单例和多模型路由，并认为代理路由不仅仅是成本控制，而且是用于代理本地训练的数据引擎。