开源项目

To3akaRin/VLMForge:云端视觉模型选型评测工作台

To3akaRin/VLMForge

模型评测模型能力评测

概述

VLMForge是一个本地优先的选型决策工作台,面向用云端视觉模型做结构化抽取的团队:它对每条供应商路线、结构化输出策略、参数组合的时延与成本,在同一冻结的提示、schema、预处理与私有图像契约下评测,而非只看公开榜单。评测采用确定性JSON、schema、规则、字段F1、重复一致性及bootstrap-CI指标,成本来源必须标注actual、estimated或unknown;违反硬约束的候选直接淘汰,最终给出质量/成本/P95帕累托前沿并解释推荐或淘汰原因。项目基于LangGraph编排,MIT许可,提供无需API密钥的重放演示。仓库于2026-08-20以仓库创建形式发布。