LLM-Rosetta:跨提供商 LLM API 翻译的中心辐射型中间表示
LLM-Rosetta: A Hub-and-Spoke Intermediate Representation for Cross-Provider LLM API Translation
摘要
大语言模型 (LLM) 提供商的快速增长(每个提供商都公开专有的 API 格式)创建了一个分散的生态系统,其中应用程序与各个供应商紧密耦合。交换或桥接提供商需要 $O(N^2)$ 双边适配器,这阻碍了可移植性和多提供商架构。我们观察到,尽管语法存在很大差异,但主要的 LLM API 共享一个共同的语义核心:实际挑战是语法变化的组合表面,而不是深层语义不兼容。基于这一发现,我们提出了 LLM-Rosetta,这是一个基于中心辐射型中间表示 (IR) 构建的开源翻译框架,它在 9 类内容模型和 10 类流事件模式中捕获共享语义核心(消息、内容部分、工具调用、推理跟踪和生成控制)。模块化的 Ops-composition 转换器架构使每个 API 标准都可以独立添加。 LLM-Rosetta 支持请求和响应负载的双向转换(提供者到 IR 到提供者),包括具有状态上下文管理的块级流式传输。我们实现了四种 API 标准(OpenAI Chat Completions、OpenAI Responses、Anthropic Messages 和 Google GenAI)的转换器,涵盖了绝大多数商业提供商。实证评估证明了无损往返保真度、正确的流行为和低于 100 微秒的转换开销 - 与 LiteLLM 的单通道方法具有竞争力,同时提供双向性和提供商中立性。 LLM-Rosetta 通过了开放响应合规套件,并在阿贡国家实验室的生产中部署。代码可在 https://github.com/Oaklight/LLM-rosetta 获取。