论文
MiA-Signature:近似全局激活以实现长上下文理解
MiA-Signature: Approximating Global Activation for Long-Context Understanding
摘要
认知科学领域越来越多的工作表明,可报告的意识访问与分布式记忆系统上的\emph{全局点火}相关,而这种激活只能部分访问,因为个人无法直接访问或枚举所有激活的内容。这种张力表明了一种合理的机制,即认知可能依赖于一种紧凑的表示,该表示近似于激活对下游处理的全局影响。受这个想法的启发,我们引入了 \textbf{Mindscape 激活签名(MiA-Signature)} 的概念,这是由查询引起的全局激活模式的压缩表示。在 LLM 系统中,这是通过基于次模的高级概念选择来实例化的,这些概念覆盖了激活的上下文空间,可以选择通过使用工作记忆的轻量级迭代更新进行细化。由此产生的 MiA 签名充当调节信号,近似完全激活状态的效果,同时保持计算上的易处理性。将 MiA-Signatures 集成到 RAG 和代理系统中可以在多个长上下文理解任务中获得一致的性能提升。