TRACER：面向LLM分类的基于轨迹自适应低成本路由

对LLM分类端点的每次调用都会产生一个已保留在生产日志中的带标签输入-输出对。这些数据对构成了一个免费且不断增长的训练集：在其上训练的轻量代理模型能以近乎零的边际推理成本承接未来流量的相当大一部分。悬而未决的问题是：代理何时足够可靠可以部署、它承接什么而搁置什么，以及这一边界如何随数据积累而演化。我们提出TRACER（基于轨迹的自适应低成本路由，Trace-based Adaptive Cost-Efficient Routing），一个开源系统，它在LLM自身的生产轨迹上训练机器学习代理，并通过一致性门控（parity gate）管理部署：只有当代理与LLM的一致度超过用户指定的阈值α时才激活代理。为使路由边界透明，TRACER生成可解释性产物，描述代理处理哪些输入区域、在哪里停滞以及为何搁置。在使用Sonnet 4.6教师模型的77类意图基准上，依据质量目标α的不同，TRACER实现83-100%的代理覆盖率；在150类基准上，代理完全取代了教师模型。在一个自然语言推理任务上，一致性门控正确地拒绝部署，因为嵌入表示无法支持可靠的区分。该系统已作为开源软件发布。