开源项目
llm-visuals v0.9.0:本地 LLM 推理实时终端仪表盘
llm-visuals
概述
llm-visuals 是本地模型推理的终端仪表盘,展示生成过程和资源使用情况。 llm-visuals v0.9.0 改用进程内 NVML 读取 NVIDIA 遥测,减少反复调用 nvidia-smi;--no-nvml 可保留旧路径。版本新增 Intel xpu-smi 后端,改善容器内模型目录、本地 MoE 和 GPU 内存的识别。 仪表盘可轮询 llama-server、Ollama、vLLM、SGLang 等本地服务,观察生成速度、首 Token 时延、资源使用和投机解码接受率。