论文
CLEF-2026 FinMMEval 实验室:金融人工智能系统的多语言和多模式评估
The CLEF-2026 FinMMEval Lab: Multilingual and Multimodal Evaluation of Financial AI Systems
摘要
我们在 CLEF 2026 上介绍了 FinMMEval 实验室的设置和任务,其中介绍了第一个针对金融 大语言模型 (LLM) 的多语言和多模式评估框架。尽管金融自然语言处理的最新进展已经实现了对市场报告、监管文件和投资者沟通的自动分析,但现有基准仍然主要是单语言、纯文本,并且仅限于狭窄的子任务。 FinMMEval 2026 通过提供涵盖金融理解、推理和决策的三项相互关联的任务来解决这一差距:金融考试问答、多语言金融问答 (PolyFiQA) 和金融决策。这些任务共同提供了一个全面的评估套件,用于衡量模型跨不同语言和模式进行推理、泛化和操作的能力。该实验室旨在促进稳健、透明和全球包容的金融人工智能系统的发展,公开发布数据集和评估资源以支持可重复的研究。