开源项目

cool-japan发布oxibonsai亚2比特模型推理引擎

cool-japan/oxibonsai

模型推理推理加速

概述

cool-japanoxibonsai仓库,v0.1.0版本于4月发布。该项目独立实现Bonsai亚2比特模型的CPU、Metal与CUDA推理,提供完整的Rust构建运行说明。采用Apache-2.0许可。