开源项目

Transformers v5.17.0统一视觉RoPE实现

huggingface/transformers

模型架构Transformer

概述

Transformers 是模型训练与推理库;RoPE 用来将位置信息编码进注意力计算。 视觉二维、三维旋转位置嵌入统一到集中式频率计算模块,自定义视觉模型需迁移相应RoPE逻辑。