论文

FINSKILLOPS:以受控技能维护改进SEC文件问答

FINSKILLOPS: A Self-Evolving Multi-Agent System for SEC Filing QA

智能体系统Agent Skills

摘要

金融问答系统通常在部署前通过更好的检索、提示或Agent协调改进,之后可靠性行为保持固定。实际中,新SEC申报文件问题不断暴露期间、主体、证据使用和计算方面的异构错误。现有自改进方法能把失败变为新行为,但较少控制修正应适用何处,以及可能破坏哪些先前正确答案。我们因此将部署后改进视为受控行为维护:反复出现的失败应形成限定范围的技能补丁,每项补丁必须在不引入回归的情况下取得部署资格。我们在SEC文件问答多Agent系统FINSKILLOPS中实现这一观点。系统从有证据支持、类型明确的失败诊断生成可复用技能,通过定向验证、保护案例回归检查、负向对照及带版本的替换或退役进行治理。在六个金融问答基准上,单一冻结技能注册表在所评估系统中获得最高的判定加权正确性与参考一致性。演化技能使增强基准的正确性从3.70升至4.55。在独立的12轮运行研究中,33项技能提案仅有6项被提升部署,监测中的不正确率从20.0%降至12.5%。结果确立了受控技能范围、接纳与生命周期管理作为可靠自改进的基础。

FINSKILLOPS:以受控技能维护改进SEC文件问答:论文配图
图1:FinSkillOps上方服务流水线使用中部整理后的申报文件索引,下方演化循环将失败回答转换为经过门控的技能注册更新,并从标记的两个注入点重新进入服务;评审智能体审核候选技能。