技术实践

LG U+以缓存和混合检索优化AI搜索服务

概述

LG U+的U+one AI Search将Gemini 2.5 Flash从直接供应商接入改为Databricks托管服务,同时保留既有LangChain模型接口。请求经过AI Gateway及查询编排,再结合语义缓存、混合检索、Agentic纠错和LLMOps改善运行。来源在同条件测试中报告吞吐提升48%、延迟由18秒降到14秒、失败减少90%;另在生产运行中报告响应约由5秒降到2秒,运营成本下降36%。这些分别是测试与生产口径,不宜混成一个性能结论,也不能将整体改进全归因于更换模型接口。