开源项目
WildCat:近线性注意力即插即用实现开源
microsoft/wildcat
概述
WildCat(Weighted Iterative Low-rank Decomposition for Coreset ATtention)是微软发布的近线性注意力实现,定位为标准缩放点积注意力的直接替换件,在理论与实测两端给出依据,面向需要加速长上下文推理的研究者与工程团队。仓库1月30日创建,采用MIT许可,提供近线性注意力实现、安装API及实验复现说明,可独立接入替换注意力模块。2月的关联论文不构成相反的首发时间,当期已具备可运行实现。