论文

IntelliAudit:用大语言模型评估审计控制

IntelliAudit: Using Large Language Models to Evaluate Audit Controls

智能体系统Agent 协作

摘要

IT审计要求审计员判断异构的组织证据是否满足语义化的安全与合规控制。这一判断难以自动化,因为相关证据分散在策略、记录、电子表格和运营工件之中,而且审计结论取决于证据充分性而非关键词匹配。我们提出IntelliAudit,一个面向IT审计证据评估的检索锚定多Agent系统。给定一项控制条款与证据语料,IntelliAudit检索相关工件,生成有证据支撑的评估,对不利发现提出质疑,裁决分歧,并产出面向审计员的建议,附带引用证据、理由、缺失证据分析与整改指引。我们在ISO/IEC 27001上实例化IntelliAudit,并通过专家审计员评审与审计就绪用户反馈,在多个模拟组织上进行评估。评估显示,IntelliAudit能够辅助控制解释、证据锚定推理与审计准备工作流,同时也揭示了人工监督对校准充分性判断和纠正过度宽松建议的重要性。这些结果表明,检索锚定的多Agent系统可以辅助审计证据评审,但应保持为决策支持工具而非自主认证系统。

IntelliAudit:用大语言模型评估审计控制:论文配图
图1:用于评估、反证审查、裁定与人类反馈的IntelliAudit工作流。