开源项目
Project Maya扩展单卡专家读取与DeepSeek百万上下文部署
Project Maya v1.1.28
概述
Project Maya提供本地大模型引擎、服务API和管理界面。v1.1.28让Linux单张NVIDIA显卡上的DeepSeek推理直接读取已锁页并映射的RAM专家,减少中转复制,并让DSpark验证窗口走流式读取、最近使用的专家保留在显存中。作者在RTX 3090 24GB、Ryzen 5600X和125GB内存、Maya-XS配置下,64K上下文解码由12.9升至27.8 token/s;预填充基本不变。 版本同时提供512K与1M上下文选项,长上下文会挤占专家显存且读取长提示需要时间。Windows、AMD、多卡和内存不足以容纳全部专家的配置不能照搬上述结果;近似跳过专家为默认关闭的独立选项,会主动改变答案。源码和发行说明采用MIT,运行仍需相应模型权重及GPU依赖。