开源项目
ghost-infer 0.4减少CPU往返并扩大消费级GPU本地推理空间
v0.4.0
概述
ghost-infer不是本日新项目,0.1已在10月发布。0.4将每层操作收为CUDA Graph,在GPU上选择专家并复用已缓存专家,减少CPU等待,同时融合小内核、固定CPU工作线程。模型主体专家可留RAM,在有限GPU缓存中运行;新4bit KV把每token缓存字节减半,作者Bonsai27B可用上下文约22K扩到35K。指定RTX2060 SUPER8GB、Ryzen53600、24GB RAM及Qwen3.5-35B-A3B Q3_K_M实验,生成速度约93至100token/s,对比0.3约55;其他提示约70,不能混用当前README的不同模型基准。要求Windows10/11、NVIDIA GTX10及以上和AVX2,安装包未签名;源码MIT或Apache-2.0任选,随包NVRTC仍按CUDA Toolkit EULA,模型权重另行取得。