论文

FinAbstain:用于选择性金融预测的不确定性校准多模态 RAG

FinAbstain: Uncertainty-Calibrated Multimodal RAG for Selective Financial Forecasting

模型评测鲁棒性、公平性与可信度评测

摘要

大语言模型 (LLM) 可以综合财务叙述,但当证据稀疏、陈旧或矛盾时,可能会表现出高度的置信度。这种失败在预测中尤其严重,因为文件、新闻、价格、交易量和技术信号可能不一致。我们提出了 FinAbstain,一个用于具有选择性预测的不确定性校准多模态检索增强生成(RAG)的研究框架。时间点 检索器 仅承认在预测时间戳处公开的信息,并向基本面、新闻、技术、风险和验证代理提供特定模式的证据。他们的概率评估与检索相关性、证据矛盾、重复样本一致性和历史校准统计数据相结合。温度缩放、等渗回归、保形预测和拟议的混合不确定性评分在常见的时间顺序协议下进行评估。仅当不确定性低于验证阈值时,控制器才会预测看涨、看跌或中性结果;否则,它会放弃,要求提供证据,减少曝光,或将案件送交人工审查。评估涵盖一天和五天的异常回报方向、二十天的波动间隔和弃权决策,使用准确性、校准、风险覆盖、引用、交易、延迟和成本指标。为了在完整的数据收集完成之前使设计可审核,我们报告明确标记的模拟结果而不是经验声明。这些结果说明了预期的假设:校准弃权可能会以覆盖率换取较低的选择性错误和回撤。其贡献是时间安全的架构、复合不确定性公式以及基于证据的选择性财务预测的可重复评估蓝图。