论文

通过以数据为中心的在线金融质量保证编译来对抗数字幻觉

Fighting Numerical Hallucinations via Data-centric Compilation for Online Financial QA

上下文与知识检索增强

摘要

大语言模型 (LLM) 拥有显着先进的在线数据服务,特别是在金融问答 (FinQA) 领域。然而,此类系统仍然容易受到数字推理幻觉的影响,这严重损害了高风险金融应用程序的可靠性。尽管检索增强生成(RAG)已被广泛应用于外部知识的地面响应,但它带来了三个持续的挑战:噪声敏感性、计算脆弱性和可审计性危机。现有的以模型为中心的方法主要侧重于单独优化 检索器 或生成器,但仍然难以以集成方式解决这些问题。在这项工作中,我们开创了一种以数据为中心的范例,并提出了一种新颖的框架,即以数据为中心的推理编译器(DCRC)。该框架通过三个紧密结合的阶段进行操作:(1)对抗性数据构建,它将训练示例与受控噪声综合起来以教授鲁棒性; (2)多阶段训练,培养能够进行显式证据审核和程序合成的以数据为中心的结构化代理(DSA); (3) 编译和执行推理过程,其中 DSA 将用户查询和检索到的文档转换为可验证、可执行的推理程序。这种数据驱动的框架通过设计确保了忠实的数字推理。我们对已建立的离线基准进行了广泛的实验,并通过在现实世界的在线金融质量保证系统中部署来进一步验证我们的框架。