论文
架构比规模更重要:中小企业计算约束下财务 QA 检索和内存增强的比较研究
Architecture Matters More Than Scale: A Comparative Study of Retrieval and Memory Augmentation for Financial QA Under SME Compute Constraints
摘要
人工智能 (AI) 和 大语言模型 (LLM) 的快速采用正在通过支持用于报告、决策支持和自动推理的自然语言界面来改变财务分析。然而,对于不同的基于 LLM 的推理架构如何在现实的财务工作流程中执行,特别是在中小企业 (SME) 面临的成本、准确性和合规性约束下,经验理解有限。中小企业通常在严重的基础设施限制下运营,缺乏云 GPU 预算、专门的 AI 团队和 API 规模的推理能力,这使得架构效率成为首要问题。为了确保实际相关性,我们引入了明确的 SME 约束评估设置,其中所有实验均使用本地托管的 8B 参数指令调整模型进行,无需云规模基础设施。此设计隔离了实际部署环境中架构选择的影响。我们系统地比较了四种推理架构:FinQA 和 ConvFinQA 基准上的基线 LLM、检索增强生成 (RAG)、结构化长期记忆和记忆增强对话推理。结果揭示了一致的架构反转:结构化记忆提高了确定性、操作数显式任务的精度,而基于检索的方法在会话式、参考隐式设置中优于以记忆为中心的方法。基于这些发现,我们提出了一种混合部署框架,可以动态选择推理策略来平衡数值准确性、可审计性和基础设施效率,为资源受限环境中金融人工智能的采用提供实用途径。