开源项目

nv-embedding-cache:推荐系统嵌入缓存SDK

NVIDIA/nv-embedding-cache

模型推理推理加速

概述

nv-embedding-cache是NVIDIA发布的领域专用SDK,服务推荐系统推理中的嵌入查找加速。README介绍其以GPU与主存中的软件缓存配合定制CUDA内核,重点处理超出本地GPU显存容量的嵌入读取,并提供多种内存分配配置。仓库创建于1月20日,采用Apache-2.0许可,附C++与Python构建说明,属于有实质内核实现的推理加速工程,而非薄封装SDK。