论文

ADMITBench:评估工业LLM建议可接受性的安全约束参考框架

ADMITBench: A Safety-Governed Reference Framework for Evaluating the Admissibility of Industrial LLM Advisories

模型评测评测方法与指标

摘要

本白皮书介绍了一种用于评估工业语言模型(LLM)建议的参考框架,该框架在提出的行动级别进行评估。该框架实现了一个版本化、安全监管的评价合同,检查推荐是否由可用证据支持,是否符合声明的权限和程序,并且是否在选定的评价方案中通过特定于生产环境的后果检查来确定可接受性。在本报告中,“安全监管”意味着通过从版本化的生产环境(plant profile)导出的明确、非补偿性的检查来确定资格;它不意味着评估者、模型或生产环境已被安全认证。Release 0.1.0 是一个公开的技术和研究评价实现,而不是物理执行的授权。