论文
超越能力基准：从生产事件元数据中学习 LLM 云服务的操作指纹
Beyond Capability Benchmarks: Learning Operational Fingerprints of LLM Cloud Services from Production Incident Metadata
摘要
托管 LLM 服务现在是实际生产系统的一部分，但模型选择和服务规划仍然严重依赖于能力基准，而这些基准很少揭示部署后的操作行为。我们提出了操作嵌入（OpEmbed），这是一个框架，用于从结构化的、隐私保护的支持案例元数据中学习 LLM 云服务的紧凑操作指纹，而无需使用案例文本。 OpEmbed 将模型时间窗口聚合到八通道操作签名中，并通过时间对比学习、跨视图重建和代数正则化来学习低维表示。经过 26 个月的时间在 Google Cloud 上对涵盖 7 个 LLM 系列的 33,000 多个生产支持案例进行了评估，OpEmbed 恢复了可解释的系列和版本级结构，改进了非学习基线的留一模型操作预测，在有限的早期窗口数据下仍然有用，并支持跨模型故障类型传输。我们报告了从构建和评估该工具用于模型启动、支持准备情况评估和运营监控中吸取的实际经验教训。