开源项目

shard发布:公网异构GPU上的大模型分布式推理

leyten/shard

模型推理分布式推理

概述

leyten发布shard仓库(2026-06-16,公开日口径):独立解决公网异构GPU上的大模型分布式推理,Apache-2.0,六月实测跨机器分层、环形流水与投机验证。详细信息以官方发布为准。