开源项目

kernel-fun:面向Blackwell的实验性线性注意力算子

allenai/kernel-fun

模型训练预训练

概述

kernel-fun 提供实验性的线性注意力算子实现,用于替换特定训练负载中的计算内核。 提供flash-linear-attention算子的替代实现,目前仅在B300和特定训练形状上测试,不支持的调用回退原实现。