论文
当你的LLM到达生命周期终点：生产系统中高置信模型迁移框架
When Your LLM Reaches End-of-Life: A Framework for Confident Model Migration in Production Systems
摘要
我们提出一个框架，用于在底层模型到达生命周期终点或需要更换时迁移基于大语言模型（LLM）的生产系统。关键贡献是一种贝叶斯统计方法，它将自动化评估指标校准到人类判断上，即使人工评估数据有限也能进行有置信度的模型比较。我们在一个服务6个全球区域、每月530万次交互的商业问答系统上演示了该框架；通过评估正确性、拒答行为和风格一致性，成功识别出合适的替代模型。该框架广泛适用于任何部署LLM产品的企业，为模型迁移提供了兼顾质量保障与评估效率的、有原则且可复现的方法论。随着LLM生态持续快速演进，以及企业在多个模型、区域和用例上管理AI服务组合，这一能力正变得日益不可或缺。