WFM：面向复杂智能体推理的Wiki基础模型

现实智能体进行动态推理需要持久的非参数知识，即长期记忆与检索增强生成。图能可靠提供结构化证据，但稀疏图表示天然限制了复杂智能体工作流所需的机器可读性与语义密度。作者认为，这推动行业从传统稀疏图转向LLM Wiki：一种将密集文档上下文与包含多层拓扑链接的Markdown文件结合的智能体原生知识表示。但传统稀疏图嵌入难以编码如此丰富的密集文本语义，使用现有图编码器学习LLM Wiki也可能产生过高分布式系统开销，妨碍大规模商业部署。为此，我们提出Wiki基础模型WFM，面向可扩展的智能体原生表示与检索。第一，形式化Wiki Graph模式，将细粒度结构与密集上下文衔接，兼顾显式拓扑和连续语义。第二，定制查询条件注意力聚合，支持丰富的Wiki消息传递及显式注意力方差正则化。第三，设计基础设施级NCCL边界交换协议，预先提升静态分区索引，使用固定形状GPU间集合通信，绕过CPU序列化与内存复制开销。在五个长期智能体记忆和多跳推理基准上，大量评估显示WFM表现突出，并在分布式集群上实现10.5倍训练加速。