论文

OGX:开源、厂商中立的生成式AI应用服务器

OGX: An Open-Source, Vendor-Neutral Generative AI Application Server

AI 基础设施模型服务框架

摘要

OGX(Open GenAI Stack)是一个开源AI应用服务器和Python库,它实现了主要前沿实验室(OpenAI、Anthropic、Google)的API,并支持可插拔的后端提供商。构建Agentic AI应用(如检索增强生成流水线、多轮智能体和工具调用工作流)的开发者,可以针对单一API表面进行开发,并以任意推理引擎、向量数据库和安全后端组合进行部署,而无需更改应用代码。OGX的主要焦点是用于服务端Agentic编排的Responses API,遵循Open Responses规范。该服务器还支持Anthropic Messages API和Google GenAI Interactions API,将SDK选择与模型和部署决策解耦。OGX拥有20多个推理提供商、13个向量存储后端,以及一个用于生产部署的配套Kubernetes Operator,可作为自托管、模型无关的后端,服务于包括Claude Code、Codex CLI、OpenCode和OpenHands在内的AI开发者工具。该项目拥有超过8,400个GitHub星标、242名贡献者和近两年公开开发中的4,000次提交。