论文
MaSRead:复制式潜在存储的内容寻址读取
MaSRead: Content-Addressed Reading of Replicated Latent Stores
摘要
在潜在空间中推理的独立智能体可以以键值缓存片段而非文本的形式共享已计算的状态。经无冲突复制数据类型合并后,这些片段构成一个在任意交付顺序或重复下都能收敛的存储。然而,一个在编码时未知的后续查询无法可靠地读取合并后的缓存:共置的片段会相互干扰,因此共置不等于可寻址。MaSRead将读取寻址到内容。它经由由片段词导出的不透明键控标签集进行路由,并在一个隐藏其余内容的硬注意力掩码下解码每个被选中的片段。在词汇连通性条件下,一次图遍历即可到达多跳查询所需的片段。在链式、流水线、对称、中心与自然语言存储上,MaSRead能把访问过的片段单独恢复出来,在无关片段不断累积时仍保持有效,并能迁移到另一个模型家族。路由之后,物化解码的开销取决于片段长度而非存储总规模;端到端的工作量仍包含依赖存储规模的路由和每个被访问片段一次的读取。局限是明确的:词汇路由可能漏掉不连通的证据,而答案组装仍受冻结读取器能力的约束。由此,当所需片段能通过内容与查询相连时,复制式潜在存储便变得可被后续查询选择性读取。