产品与服务

火山引擎 Storage Agent Infra

从 Data Lake 到 State Lake:面向 Agent 时代的存储基础设施重构

AI 基础设施上下文与知识记忆数据基础设施Sandbox可观测性Agent记忆Agent Sandbox

概述

火山引擎存储团队把存储从 Data Lake(面向 Dataset、文档、图片、视频、日志的容量型内容存储)推进到 State Lake(面向 Checkpoint/Optimizer State、KVCache/Embedding、Environment/Memory/Trace 的短生命周期状态存储),并以 Storage Agent Infra 承载三条主线:Sandbox Store 用 EBS(快照、延迟加载、批量创盘与挂载优化,支持大规模高频快照、超长快照链与极速克隆,供模型评估每一步保存与回退)、EFS(完整 POSIX 语义、目录级隔离/配额/数据流动与共享挂载,支撑多沙箱多 Agent 并行实验)、MQ LiteTopic(每个 Agent 会话独立消息主题保证会话隔离与强顺序,支持百万级 LiteTopic 动态创建与自动释放、优先级消息异步调度)分别覆盖沙箱的状态、共享、通信;Artifact Store 分强 POSIX 路径(EFS 面向 Agent 场景在千万级 Agent 并发时最高 2TB/s 访问带宽、亚毫秒级时延、最高 3000 万 IOPS,支持预置带宽与突发带宽,冷数据经数据流动沉降至 TOS 并可继续按 EFS 路径访问)与灵活分发路径(TOS 扁平命名空间与近无上限横向扩展、按量伸缩、多档存储类型与生命周期治理),并以 Agent Bucket 作为统一基建——在传统 Bucket→Object 两层模型中引入 AI 原生资源层级 ObjectSet,为亿级终端用户提供安全、隔离、Quota 与管理的专属存储空间;同期推出 SenseFlow(多模态理解与处理引擎,数据不出桶完成内容理解、智能检索与生成链路)与 ContextBucket(把 Agent 长期记忆与工作区收敛到同一底座,支持跨任务跨会话持续沉淀),以及 ADrive Agentic 智能网盘(可挂载、多租户隔离、人与 Agent 协同、自然语言检索与二次创作);Agent 观测&评测由 TLS AgentLoop 承担观测数据接入、Trace 调用链/Session 分析/监控大盘与 Trace 回流,并与 Cozeloop 打通评测集、评估器管理与评估实验。