开源项目

Atlas:跨模型复用的推理运行时与服务抽象

Avarok-Cybersecurity/atlas

AI 基础设施模型服务框架

概述

Avarok-Cybersecurity公开了atlas仓库,尝试把推理栈中的共性部分沉淀为可跨模型复用的抽象,包括推理运行时、缓存层以及服务化接口。上层应用在更换底层模型时可以沿用同一套运行与服务代码,缓存机制也有机会在多个模型间共享。对同时维护多模型推理、希望减少重复接入工作的团队,可作为统一抽象的参考设计;项目创建时间很短,实际完成度需查看源码确认。