开源项目
OpenCompass 0.5.4:多模态与多轮评测扩展
open-compass/opencompass 0.5.4
概述
OpenCompass 0.5.4 集成 VLMEvalKit 原生数据加载、OpenAI 兼容推理和官方评测指标;GenInferencer 支持多轮推理,并引入 Multi-IF 以评估多轮指令遵循。版本还增加 LiteLLM 网关后端及 TurboMind PPL 评测接口。 评测正确性方面,更新包括拒绝代码评测中的欺骗性返回值、避免将无效 SIQA 生成判为正确,以及多项数据加载、生成和模型接口兼容修复。新增能力需与原有配置分开比较,不能把评测器变化直接解释为模型进步。