论文

V4FinBench:表格基础模型、LLM 和企业破产预测标准方法的基准测试

V4FinBench: Benchmarking Tabular Foundation Models, LLMs, and Standard Methods on Corporate Bankruptcy Prediction

模型评测基准与评测资源

摘要

企业破产预测是一项高风险的金融任务,具有严重的类别失衡和多层面的预测需求。支持它的公共数据集仍然稀缺且规模较小:广泛使用的免费基准包含 6,000 至 80,000 个公司年的观察结果,而订阅付费专区背后有更多的资源。为了弥补这一差距,我们引入了 V4FinBench,这是来自维谢格拉德集团 (V4) 经济体(2006-2021)超过 100 万家公司年记录的基准,具有 131 个财务和非财务特征、六个预测范围和一个综合困境标准,共同捕获偿付能力、盈利能力和流动性恶化情况。 V4FinBench 旨在支持现实类别不平衡情况下表格和基础模型方法的评估,阳性率在 0.19% 到 0.36% 之间。我们提供标准表格基线、微调 TabPFN 和 QLoRA 微调 Llama-3-8B 的参考评估。通过不平衡感知微调,TabPFN 在 $F_1$-score 和 ROC-AUC 上在较长时间范围内匹配或超过梯度提升。相比之下,Llama-3-8B 在每个水平线上的 ROC-AUC 上都落后于梯度提升,并且在 $F_1$ 分数上通常较弱,差距在直接水平线之外急剧扩大。在对美国破产数据集的外部评估中,经过 V4FinBench 微调的 TabPFN 检查点比普通 TabPFN 有所改进,这表明适应捕获了可转移的金融困境结构,而不仅仅是 V4 特定的模式。 V4FinBench的公开发布是为了支持对现实金融数据的进一步评估和预测方法的开发。