SQBench 评测方法论

SQBench 是面向大模型生产级任务交付能力的实战评测基准。我们通过分层任务、统一评分与风险诊断，评估模型在标准化、受约束任务环境中的交付能力、风险边界与运行资源消耗。

SQBench v1.0 包含 220 道标准化任务，覆盖原子能力、复合技能和业务场景三个层级。任务基于业务工作形态抽象和编写，材料经过脱敏、改写或合成处理，不包含真实客户数据或个人敏感信息。结果用于模型比较与受控试点设计，不替代企业在自身数据、流程、权限和合规要求下的专项验证。

分层实战评测

面向生产级任务交付的模型评测需要同时覆盖基础认知能力、复合任务执行能力和业务场景交付能力。单一类型任务难以区分模型在通用推理、工具协作、交付规范、风险控制和运行资源消耗上的差异。

因此，SQBench 将评测任务划分为三个层级：

• L1 原子能力层：评估模型的基础认知与指令执行能力。
• L2 复合技能层：评估模型组合多项能力完成实操任务的能力。
• L3 业务场景层：评估模型在行业语境和业务流程中完成端到端任务的能力。

三个层级分别对应不同的能力范围和情境约束：L1 侧重原子能力稳定性，L2 侧重跨技能组合执行，L3 侧重行业任务中的端到端交付表现。

L1 原子能力层

L1 原子能力层用于评估模型完成基础认知任务的稳定性，覆盖指令遵循、长上下文推理、动态代码逻辑、鲁棒性与边界等方向。该层任务保留最小执行闭环，但不以复杂工具规划、多文件协作或行业流程为主要考点。

L2 复合技能层

L2 复合技能层用于评估模型在复杂指令约束下组合多项能力完成实操任务的表现，覆盖办公协作、数据分析、深度研究、软件工程等方向。该层任务要求模型完成步骤规划、工具调用、文件处理和交付物生成，重点衡量从任务理解到可用结果的执行能力。

L3 业务场景层

L3 业务场景层用于评估模型在行业语境和业务流程中完成端到端任务的能力。该层按行业场景划分，覆盖金融、工业、医疗、政务四个方向；在每个垂直行业中，复杂业务侧重多材料、多步骤和多约束流程处理；量化审计侧重数据核验、口径一致性检查和异常发现；合规风控侧重风险边界识别、审慎判断和合规交付。这一结构用于同时考察模型对行业知识、业务流程、数据核验和合规边界的理解能力。模型不仅需要给出结果，还需要处理多源信息、遵循业务约束，并输出可审计、可执行的交付物。

风险评分机制

SQBench 不仅评估模型是否完成任务，也记录模型在任务执行过程中出现的可核验风险。为此，SQBench 设计了 10D 风险矩阵（10-Dimensional Risk Matrix），用于识别事实与溯源幻觉、合规越权、工具误用、资源滥用、目标遗忘和审计链缺失等风险。

我们将可靠度定义为：

可靠度 = 1 - 风险触发率

其中，风险触发率是指模型在测试任务中触发至少一项 10D 风险的任务比例。可靠度仅描述当前任务集与运行配置下未触发 10D 风险的比例，不等同于一般部署可靠性。SQBench 从风险发生频率、风险强度和幻觉相关风险三个角度解释风险结构：风险触发率反映风险发生频率，风险强度衡量已触发风险任务的平均扣减程度，幻觉率聚焦事实与溯源、工具操作、认知边界和上下文状态相关风险。

10D 风险矩阵覆盖任务结果、执行过程、工具使用、合规边界和上下文管理等不同类型风险。SQBench v1.0 对每类风险采用预先定义、版本化的扣减规则；触发任一已确认风险的任务不计为完整通过。

评测原则

SQBench 的评测设计遵循以下原则：

• 标准化：所有模型在同一任务中使用相同输入文件、任务指令、工具环境和评分规则，确保结果具备可比性。
• 公平性：评分机制尽量避免因表达形式差异而惩罚正确结果。对于结构化、数值和文件类任务，优先采用可复核的自动校验；对于开放式分析任务，依据明确评分细则进行判定。
• 零样本指令评测：任务以明确指令直接给出，不通过示例答案或少样本演示引导模型，以评估模型在真实任务说明下的独立执行能力。
• 方法透明、题集保护：SQBench 公开任务分层、能力覆盖、评分指标、风险矩阵和榜单汇总方法；为降低题库泄露、刷题和训练集污染风险，不公开正式评测集的完整题面、输入文件、标准答案和评分脚本。

评测运行方式

SQBench 的评测运行遵循以下统一原则：

• 单次全量运行：每个模型配置在每道任务上运行一次，不通过多次采样、挑选最佳输出或事后补全交付物提高结果。
• 同题同条件：同一道任务对所有模型配置固定任务版本、输入文件、工具权限、资源边界和评分规则。
• 隔离执行：每道任务在独立工作区运行，任务间不共享文件、会话或执行状态。
• 任务级约束：网络权限、资源上限和超时规则由任务预先规定；同一道任务对所有模型配置保持一致。
• 异常记录：接口异常、工具异常、超时和未提交交付物按统一规则记录处理；临时服务异常可触发有限重试，但不产生额外候选答案或最优结果选择。

SQBench 根据任务形态选择相应的评分机制。结构化输出、代码、数值和文件校验优先采用自动化评分；开放式报告、研究分析和复杂业务判断采用基于统一评分细则的大模型裁判评分；同时包含客观校验和主观判断要求的任务采用混合评分。

评分细则与通过标准

每道 SQBench 任务均设置明确的交付目标、评分点和风险判定规则。SQBench 单题评分采用 0 到 1 的归一化量尺：先计算不计风险扣减的任务完成分，再根据 10D 风险矩阵中的已确认风险形成最终表现分。

• 任务完成分：模型在没有任何 10D 风险扣分前的功能性基础得分，取值范围为 0 到 1。0 表示未产生有效交付，1 表示完全满足该题的功能性评分要求。结构化、数值、代码和文件类任务优先依据自动化校验结果计算；开放式分析和业务判断类任务依据评分细则评估关键结论、证据链和交付完整性。
• 最终表现分：模型扣除 10D 风险扣减后的最终得分，取值范围为 0 到 1。其计算方式为：

最终表现分 = max(0, 任务完成分 - 10D 风险扣减)

• 任务通过率（pass@1）：SQBench 使用单次测试结果计算任务通过率。当前 SQBench 采用完整达标通过口径：模型在单次测试中最终表现分达到 1.0，即记为该任务通过；未达到 1.0 的任务不计入 pass@1，但最终表现分仍作为连续质量信号保留，用于解释功能完成与完整交付之间的差异。
• 未通过情况：模型未提交交付物、输出无法解析、关键结论错误、遗漏核心约束、文件不可用、代码无法运行、超时，或触发已确认风险时，会导致任务完成分降低或 10D 风险扣减，并最终影响最终表现分和任务通过判定。
• 运行诊断：SQBench 记录模型完成任务所需的 API 成本、完成耗时和 Token 消耗，作为榜单和模型报告中的补充运行信息。它们不参与任务完成分、最终表现分、任务通过率或实战能力计算。完成耗时反映本次评测条件下的端到端执行时间，不等同于模型服务的纯推理速度。

在完成单任务判定后，SQBench 按任务层级对模型表现进行汇总。下列 L1、L2、L3 任务通过率均指对应层级中达到 SQBench 完整交付要求的任务比例。“实战能力排行榜”使用加权 pass@1：

实战能力 = 0.2 x L1 任务通过率 + 0.6 x L2 任务通过率 + 0.2 x L3 任务通过率

垂直行业实战能力榜单面向金融、工业、医疗、政务四个方向，使用对应行业的 L3 结果：

行业实战能力 = 0.1 x L1 任务通过率 + 0.3 x L2 任务通过率 + 0.6 x 对应行业 L3 任务通过率

行业实战能力用于行业模型初筛和横向比较，不构成行业认证或部署准入结论。

局限性说明

SQBench 关注模型在受约束任务中的交付能力、风险结构和运行诊断，不等同于对模型全部能力和所有应用场景的完整评估。评测结果应结合具体业务需求、部署环境和安全要求理解。

SQBench v1.0 的任务覆盖有限，不能穷尽所有行业、语言、工具链、实时联网场景或多模态场景。部分开放式任务依赖评分细则和裁判判断，尽管会通过标准化流程降低主观性，仍可能存在边界样例上的判断差异。

因此，SQBench 更适合作为模型选型和能力对比的参考基准，而不应替代企业在自身数据、流程、权限和合规要求下进行的内部评测。