开源项目
aokit:Hugging Face出品的PyTorch预编译可复用抽象层
huggingface/aokit
概述
aokit由Hugging Face出品,思路是把PyTorch的预编译能力封装成可复用的抽象:不同模型和底层库在编译、内核选择上的处理各不相同,团队每接入一个新模型常要重写一遍编译配置。aokit把这部分工作抽象成统一层,供多模型、多库场景直接复用,降低维护多套推理栈的工程成本。对自建推理基础设施、模型种类繁多的团队,这是值得跟踪的基建组件。本次公开材料未披露支持的模型范围与编译后端细节。