论文

CTRAG:使用 LLM 进行自动合规性检查的基于上下文检索的框架

CTRAG: An In-Context Retrieval-based Framework for Automated Compliance Checking using LLMs

上下文与知识检索增强

摘要

信任是现代监管生态系统的基础,合规检查在培养这种信任方面发挥着关键作用。监管合规性验证对于在高度控制的环境中运营的企业至关重要,因为它确保与财务报告、数据隐私和网络安全等领域的特定部门准则保持一致。然而,手动合规性测试通常非常耗时并且容易出现不一致,特别是当合规性间接依赖于云提供商等第三方服务时,供应商依赖外部提供商来满足监管标准。在本文中,我们提出了 CTRAG,一种专为自动合规性检查而设计的新型检索增强生成(RAG)管道。 CTRAG 采用先进的策略,包括自适应分块、动态检索配置和上下文学习,以提高合规性评估的准确性和相关性。通过从监管文本中提取控制问题并将其与非结构化公司文档进行交叉引用,即使在通过第三方服务间接合规的情况下,CTRAG 也能实现高度准确、基于文档的合规性验证。实证评估显示出显着的改进,CTRAG 在最终部署配置中实现了 78% 的 F1 分数和 85% 的召回率,确保最大限度地减少遗漏的不合规案例,同时减少实际部署中人工审核人员的工作量。为了验证 CTRAG 的价值,我们在四大专业服务公司内开发并部署了 POC,将其应用于实际案例,并根据手动合规报告交叉检查结果。这些发现凸显了 CTRAG 在简化合规工作流程、降低风险以及增强复杂高风险环境中监管信任方面的潜力。