开源项目

EleutherAI/lm-evaluation-harness:通用评测任务加载与执行机制改版

EleutherAI/lm-evaluation-harness

模型评测模型能力评测

概述

EleutherAI的lm-evaluation-harness发布正式版,改变通用评测任务的加载接口与执行机制,属于跨任务的基础机制改动而非单点适配;按冻结口径,dev预览版本不计入本次信号。该工具被广泛用于开源模型评测流水线,接口层变更意味着自定义任务与结果脚本可能需要同步迁移,跨版本结果对比也要重新校验口径。