用于基于LLM的政策合规推理的知识图谱表示

随着AI功能被快速集成到软件应用中，其带来的风险不断上升。作为回应，面向安全可靠AI的法规与标准相继出台。本文提出一个智能体框架，从AI政策文件构建知识图谱（KG），并检索政策相关信息以回答问题。我们在两种本体模式下从三份AI风险相关政策构建知识图谱，然后在42个政策问答任务上评估五个LLM，这些任务涵盖从实体查找到跨政策推理的六种推理类型，同时采用启发式评分和LLM-as-judge两种方式。知识图谱增强提升了所有五个模型的分数，且开放的、由LLM发现的本体模式与正式本体相当甚至更优。