论文

将法规落实到代码中:在软件工程 LLM 选择中增强治理和合规性的模型

Operationalizing Regulations into Code: A Model to Enhance Governance and Compliance in LLM Selection for Software Engineering

模型评测评测方法与指标

摘要

将 大语言模型 (LLM) 集成到软件开发生命周期 (SDLC) 中可以提高开发人员的工作效率,但也会在模型选择过程中引入安全、隐私和合规性风险。欧盟人工智能法案、NIST 人工智能风险管理框架 (RMF)、通用数据保护条例 (GDPR)、Lei Geral de Proteção de Dados (LGPD) 和 ISO/IEC 42001 等法规和框架规定的义务通常很难转化为技术决策的操作标准。本文提出了一个模型来支持软件工程项目 LLM 选择中的治理和合规性。该模型是通过设计科学研究 (DSR) 开发的,分为三层:(i) 监管要求;(ii) 组织治理能力,由具有淘汰和加权评分标准的多标准决策矩阵实例化;(iii) 生产力和可持续性成果,由 LLM 治理评估协议 (PAG-LLM) 实施。监管反馈回路将运营结果连接回规范层,从而实现模型的迭代细化。基于常见弱点枚举 (CWE) 和 OWASP Top 10 的 20 个对抗场景的试点评估表明,基于商业云的 LLM 和本地开源 LLM 之间存在不同的风险状况。结果提供了初步证据,证明监管取消资格逻辑,尤其是 K.O.标准,可以防止选择技术上有竞争力的模型,但会带来不可接受的合规风险,证明了在软件工程项目中以治理为导向的 LLM 选择的可行性。