生产 LLM 系统中的外部经验：质量成本权衡的面向部署的研究

生产LLM系统积累了可复用的操作经验，但实际部署的问题不仅仅是这些经验是否有帮助。这就是不同的服务策略如何在现实限制下权衡质量和在线成本。注入外部经验可以提高任务质量，但也会增加即时负担、延迟和服务压力。我们将 \textit{外部经验服务} 作为面向部署的质量成本权衡问题进行研究。我们在真实的生产调节环境中评估这个问题，使用工具使用和 GPQA 作为支持暴露不同产出成本机制的对比任务。我们比较无经验基线、随机经验控制、全局提示注入和基于检索的选择性注入，并分析任务质量和服务成本。结果表明，一旦经验变得依赖于案例，选择性检索将提供比无条件全局注入更强的操作点。他们进一步表明，检索质量比简单地增加 Top-$K$ 更重要，并且相同的服务策略可以在短输出和解码重的制度中表现出截然不同的成本效益概况。这些发现表明，外部体验最好被视为一种选择性的、具有成本意识的服务决策，而不是作为一种通用的附加内容。 Overall, in the settings studied here, external experience pays off only when both the serving interface and the task-specific cost structure make its quality gains worth the online cost.