开源项目

llama-benchy 发布:统一端点的模型性能测量工具

eugr/llama-benchy

模型评测评测方法与指标

概述

llama-benchy 是当期新发布的测量工具,面向运行本地或自托管模型服务的团队。它对统一端点进行性能测量,指标覆盖跨后端吞吐与首 Token 延迟,仓库提供 uv 运行命令。工程创建于 1 月 5 日,采用 MIT 协议,由 eugr 维护。