论文

为无状态大语言模型API构建对话式数据系统:上下文恢复代理模式

Architecting Conversational Data Systems for Stateless LLM APIs: The Hydration Proxy Pattern

上下文与知识上下文工程记忆Agent记忆

摘要

随着企业平台过渡到会话推理接口,LLM API 的无状态性质造成了架构差距。虽然无状态性为人工智能提供商提供了水平可扩展性,但它迫使客户端应用程序管理会话状态和语义记忆的全部负担。这项工作确定了 Hydration 代理模式,这是一种将会话持久性与推理引擎解耦的架构。该框架确保平台对会话数据的主权,同时实现安全、多阶段的语义基础。我们进一步提出上下文稳定授权来解决主权国家管理和 KV 缓存之间的权衡。