开源项目
mesh-llm：跨机器GPU池化推理服务
Mesh-LLM/mesh-llm
概述
mesh-llm把多台机器的GPU与内存池化，对外暴露一个OpenAI兼容API：先启动一个节点，后续按需增加节点，由网格自动决定模型在本机运行、转发到对等节点，或对单机放不下的大模型做分段拆分运行，默认地址为本地9337端口。项目2月11日创建，采用Apache-2.0许可，README提供构建与运行命令。手头有多台异构机器、想合并算力运行较大模型的团队，可按文档部署验证路由与拆分行为。
Mesh-LLM/mesh-llm
mesh-llm把多台机器的GPU与内存池化，对外暴露一个OpenAI兼容API：先启动一个节点，后续按需增加节点，由网格自动决定模型在本机运行、转发到对等节点，或对单机放不下的大模型做分段拆分运行，默认地址为本地9337端口。项目2月11日创建，采用Apache-2.0许可，README提供构建与运行命令。手头有多台异构机器、想合并算力运行较大模型的团队，可按文档部署验证路由与拆分行为。