开源项目

whichllm:本地模型硬件选型CLI

Andyyyy64/whichllm

AI 基础设施模型部署

概述

whichllm 是一个帮助用户为自身硬件挑选本地大模型的命令行工具,面向想在本地运行 LLM 的用户。项目本次首次发布,创建于3月4日:工具自动检测 GPU、CPU 与内存配置,据此对 Hugging Face 上的候选模型进行匹配排序,筛选出实际能运行的型号;仓库提供安装与运行说明,以 MIT 许可开源。对不清楚本机承载能力的用户,它把硬件检测与模型选型合并成一步,减少反复下载试错的成本。