开源项目

Ollama候选版移植MLX融合内核到CUDA并恢复自定义工具历史

Ollama v0.40.5-rc1

AI 基础设施推理服务

概述

Ollama用于本地部署和调用大模型。本次v0.40.5-rc1将mamba2_scan、depthwise_conv_silu与gated_delta系列融合内核从Metal移植到CUDA,避免CUDA路径退回图算子。RTX 6000 Ada上,nemotron3:33b nvfp4的提示吞吐323.9→679.0 token/s、生成112.3→149.6;另一30B-A3B模型生成113.2→129.7。比较限定PR披露的机器与模型,不能推广为全部模型翻倍。 同一候选版接受Responses历史中的custom_tool_call和custom_tool_call_output,保留调用ID、命名空间与自由文本,使既有会话和压缩重放不再在推理前返回HTTP 400。此项仅覆盖历史输入,不包含自定义工具声明、语法格式或新生成事件。代码主许可MIT,当前为RC,部署前应验证GPU、MLX及模型格式兼容性。