开源项目
llama.cpp在Vulkan后端贯通多设备张量并行all-reduce
vulkan: add tensor-parallel allreduce function (#25051)
概述
llama.cpp提供本地模型推理与多硬件后端。 Vulkan后端需要可供tensor split模式复用的多设备规约机制,不能仅依赖各设备独立计算。 新增共享主机内存的两阶段all-reduce,结合计算提交和设备同步;不同驱动使用相应信号桥接,通信初始化不支持时明确不启用。 需目标平台和驱动满足实际通信能力;PR演进阶段有多组RTX4090测量,不混用旧实现数字作为最终版本保证。 本条依据固定源码与官方交付说明整理;代码合入不冒充稳定安装包,性能与测试结果为原作者披露,未做本地模型运行复现。