词元在价值之前是关键：混合架构如何组织感应电路

混合语言模型可以提高能力和效率，从而提出了架构互补性如何成为学习计算的问题。我们检查了已建立的归纳角色：携带前身信息、按内容匹配源以及复制其值。这些位置敏感和基于内容的计算如何跨异构层分配？我们引入了与层类型无关的配对探针，通过通用的块更新接口来跟踪携带和匹配。在循环-全局和局部-全局混合中，携带集中于全局接收器中的高效层和匹配。测量的本地贡献集中在滞后一：历史值之前的词元。通过滞后一掩蔽、卷积去除或早期学习率降低来改变前驱支持可以在阶段之间重新定位携带和匹配。源密钥恢复和固定值选择跟踪接收器对准备好的源的依赖。这些干预措施还改变了自然文本回忆，其结果取决于配置和目标。不同的局部窗口和归纳丰富的训练文本改变了功能携带和匹配的早期发展，将架构先验和训练证据与形成时间联系起来。总之，探索和干预将解释焦点向上游转移：匹配的组织遵循携带的学习方式。值之前的标记提供了混合动力架构、电路开发和召回之间的具体联系。代码可在 https://github.com/ckpassenger/bind-match-copy/tree/main 中找到。