技术实践

淘宝闪购以Tair承载Agent短期记忆

上下文与知识AI 基础设施记忆数据基础设施Agent记忆

概述

淘宝闪购与千问合作「一句话点外卖」,目标把传统 3-5 分钟的点单流程压缩至 30 秒以内,Agent 需在数秒内完成意图识别、地址解析、商品搜索、规格匹配与加购下单。记忆层位于 Agent 中枢与底层工具服务之间,由 Tair 提供会话级状态管理:模型记忆用 List 按会话 RPUSH 追加、LRANGE 取最近 N 轮作为上下文,写入前把文本与卡片等富媒体转成自然语言以降低 Token。 业务上下文用 Hash 按 session、search、order、conversation、coupon、bizState 六个 field 独立读写,避免整包 JSON 回写的竞争。会话状态标记与分布式锁用 String(SET lock:memory:{sessionId} NX EX 3,Lua 校验后释放),锁粒度为会话级。 所有会话 Key 设 30 分钟 TTL 自动清理。运行期读写比 5:1 到 10:1,日常为 8 分片每分片 1 只读副本,春节活动扩至每分片 5 只读副本或 16 分片每分片 3 副本,配合单 LB 20Gbps 上限与秒级弹性突发带宽(单节点最高 288MB/s)应对热点。千问春节红包期间承受超过预估峰值 10 倍的并发,整套记忆服务稳定运行、P99 延迟始终在毫秒级。 长期记忆(用户偏好、历史行为)仍在规划中。