论文
构造即可审计:面向企业金融可信LLM分析的本体驱动框架
Auditable by Construction: An Ontology-Driven Framework for Trustworthy LLM Analytics in Enterprise Finance
摘要
企业在金融领域采用大语言模型的制约与其说是流畅性,不如说是信任:在财务规划与分析(FP&A)及其他受监管工作流中,一个答案只有能追溯到权威来源且事后可审计才是可用的。本文主张,面向企业金融的检索增强生成应当与准确性一起按可审计性来评估,并提出知识驱动分析框架(KDAF),它通过六个迭代阶段构建本体驱动的知识系统,并通过上下文感知相关性传播(CARP)检索证据,使每个被检索的事实都携带其关系类型、置信度和来源谱系。在FinanceBench(145个问题)上的评估将KDAF与零上下文推理、BM25、概念加权词法检索和无根据图遍历进行比较。第一,检索是必要的:零上下文推理的正确率为4.1%,而检索增强条件为10–12%。第二,在答案正确性上,各检索条件在统计上不可区分(KDAF对BM25:-0.007,95% CI [-0.021, 0.000]),因此仅凭准确性不足以在此论证结构化检索的价值——我们明确报告这一负面结果。第三,在可审计性上顺序逆转:KDAF取得最高的引用可追溯性F1(0.515),超过无根据遍历+0.027(CI [0.006, 0.050])、超过BM25 +0.052(CI [0.024, 0.083]),区间不含零。图结构检索还不允许任何来自问题主体实体之外的证据(426项中0项,而词法基线为16.8%和20.2%),且每个被选中的条目都解析出完整的来源链。我们主张,可审计性而非准确性,才是本体扎根检索证明自身成本合理的轴心。