差分推理路由器：在电子商务中实施成本感知 LLM 注释

大语言模型 (LLM) 越来越多地用于注释电子商务中的结构化产品数据，但早期部署通常始于冷启动问题：只有有限的预启动标签可用，昂贵的推理的价值未知，并且需要人工审核才能大规模信任系统。这一挑战在基于规则的注释工作流程中尤其常见，其中每个项目必须满足多个业务规则，并且模型错误和模糊的规则边界都会影响最终决策。我们引入了差分推理路由器（DRR），这是一种用于冷启动 LLM 注释的成本感知框架，可联合优化模型选择和人工升级。 DRR 不是将推理模型视为默认后备，而是在样本和业务规则级别分别估计直接模型和推理模型的成功概率，从而实现自适应路由：直接处理简单的案例，为预计改进决策的案例保留推理，并将可能的双重失败或规则不一致的案例升级为人工注释者。由此产生的标签为快速工程提供有针对性的 真值、监督的 微调、校准和规则细化，从而实现从人工密集的冷启动注释逐渐转变为高置信度的自动路由。在生产电子商务工作流程中，DRR 达到了与最强的基于置信度的路由器相当的准确性，同时实现了超过 60% 的推理词元成本节省。