开源项目
OpenAI开源MultiLangBench,以SQLite重实现评测多语言编程
MultiLangBench
概述
MultiLangBench让模型参考SQLite 3.40.1文档,在指定语言中重新实现其行为。项目从约5.1万条TCL测试中转换出约2.4万条,每项包含初始化数据库、用户查询和使用真实SQLite执行的验证查询,以最终输出字符串判定。默认评测使用名称前缀00、01、02对应的272条子集,高分样本可另注明使用全量。评分同时报告API成本与测试通过率;未按指定语言或混用语言应判为零分。模型环境不得联网,并应移除已有SQLite实现、库及嵌入副本,防止直接调用现成实现。单项崩溃或超过60秒判失败;真实SQLite与SQL文本是判分依据,仓库预期输出可用于校准评测器。官方仓库按Apache-2.0开放,提供测试与环境清理脚本;本条记录评测工程发布,不据此宣称某模型能力已经得到独立验证。