论文

迈向企业AI智能体的部署前保证:本体锚定的验证

Toward Pre-Deployment Assurance for Enterprise AI Agents: Ontology-Grounded Simulation and Trust Certification

模型评测上下文与知识本体安全与风险评测

摘要

企业人工智能 (AI) 代理的部署前验证仍然是大型语言模型 (LLM) 能力基准测试和生产部署之间的关键差距。一旦代理在生产中运行,部署后监控、人机交互控制和提示级护栏只能提供有限的保证。我们提出了一个基于本体的验证框架——据我们所知,这是第一个结合三个组件的框架:一个代理操作信封,正式化跨权限、域约束、安全属性、治理规则和自治级别的认证空间;本体到场景生成管道,自动生成监管、操作和对抗性测试场景;以及带有分级部署结论的机器可验证信任证书。跨四个受监管行业(金融科技、银行、保险、医疗保健)的受控试点,实例化为美国和越南(越南 2025 年人工智能法规定金融服务必须进行此类验证)的五个行业监管单元,生成了 1,800 个场景,根据 125 个主要来源监管要求和 25 个注入故障进行了评估。基于本体的生成在监管覆盖范围上显着优于基于主导角色的基线(48.3% 对比 33.1%;校正 p_c = .0006),并获得了最高的领域特异性(4.77/5.0;p = 2e-6);显然,它相对于简单提示和检索增强提示的优势并没有在邦费罗尼的修正中幸存下来。三个 LLM 系列(Claude Sonnet 4、Qwen 2.5 72B、Gemma 4 26B;总共 5,400 个场景)的交叉验证复制了角色与本体模式。该框架为企业人工智能代理提供了一种可重复的、基于法规的途径来确保部署前的安全,通过可审计的部署门来补充运行时治理。

迈向企业AI智能体的部署前保证:本体接地的验证:论文配图
(a) 三个模型中按条件划分的 RC。所有型号的 G4(本体)领先或联系; G4-G2 差距是统计稳健效应,而 G4-G1 和 G4-G3 差距不具有 Bonferroni 显着性。(b) G4 RC 按行业 ×\times 模型。 Claude 在绝对 RC 上领先,而 Qwen 的本体提升最大——与逆参数知识效应一致。图 2:本体优势的跨模型复制:(a) 按生成条件,(b) 按行业 ×\times 生成器模型。