产品与服务

Agent Bucket:在对象存储中引入 ObjectSet 原生层级,支撑亿级终端用户的 Agent 多租户存储

Agent Bucket:万亿级 Agent 原生存储桶

AI 基础设施上下文与知识检索增强数据基础设施

概述

针对「一用户一桶」(S3 全 region 合计 10000 桶配额,远不够)与「单桶多前缀」(权限、生命周期、性能、可靠性、容量与计量等高级特性仅在 bucket 或少量 prefix 级提供,无法支撑数十万以上用户、易扰邻)两类方案的局限,团队在 Bucket 与 Object 之间引入新的原生资源层级 ObjectSet:每个终端用户对应一个专属 ObjectSet,单桶可支持 1 亿个 ObjectSet。配套四项工程能力:一是原生隔离与计量计费,可在 ObjectSet 级设置独立 QPS、带宽限制、容量配额、Lifecycle、独立加密密钥,并按 ObjectSet 统计容量用于出账分账;二是 Set Tagging,以标签化方式做用户分级治理,例如 V1 免费用户最多 1GiB、公网分发不超 100mbps、单流下载 1mbps,V2 收费会员 10GiB/10gbps/10mbps,V3 高级会员附加快弱网加速与高性能介质加速;三是 Set Slice,逻辑不拆、物理拆分地把元数据按 Set 及对象名范围划分到不同集群的 Slice,解决单集群千亿至万亿级对象的容量上限与跨 Set 资源隔离,上层 ObjectSet 仍是权限、配额、计费、监控的唯一基本单位;四是 Set AccessPoint,为每个 ObjectSet 提供 {$apid}.tos-objectset-ap.volces.com 独立子域名(高熵散列降低碰撞与穷举),配合 STS 构成「隐匿性 + 收敛性」两级防护,并以启发式调度系统按 tag 做亿级域名的差异化安全、隔离与加速调度;此外 ObjectSet 可一键开启智能索引提供多模态问答能力,或开启 Agent self 模式串联向量、知识、模型与 prompt。