开源项目

ArcLight:轻量级LLM推理框架开源

OpenBMB/ArcLight

模型推理推理加速

概述

ArcLight 是 OpenBMB 开源的轻量级大模型推理框架,以 C/C++ 编写,面向以统一内存为特征的硬件环境。项目本次首次发布,创建于3月2日:框架以轻量、易于优化为设计目标,围绕统一内存优化推理效率,仓库提供 CMake 构建步骤与模型生成命令,代码以 MIT 许可开源。对想在统一内存设备上部署或改造推理实现的研究者和工程师,它提供了一个便于阅读与调整的小型实现。