开源项目

llamAmpere:面向Ampere GPU的推理优化分支

JakeATX/llamAmpere

AI 基础设施模型服务框架

概述

llamAmpere 是针对 Ampere GPU 优化的 llama.cpp 分支,面向已有显卡上的本地推理。 llama.cpp分支整合TurboQuant KV缓存、MTP推测解码和SM86专用内核,针对RTX 3090等Ampere设备优化。