论文

FiMI：面向印度金融生态的领域专用语言模型

FiMI: A Domain-Specific Language Model for Indian Finance Ecosystem

Aboli Kathar, Aman Kumar, Anusha Kamath, Araveeti Srujan, Ashish Sharma, Chandra Bhushan, Dilip Asbe, Divya Sorate, Duddu Prasanth Kumar, Evan Acharya, Harsh Sharma, Hrithik Kadam, Kanishk Singla, Keyur Doshi, Kiran Praveen, Kolisetty Krishna SK, Krishanu Adhikary, Lokesh MPT, Mayurdeep Sonowal, Nadeem Shaikh, Navya Prakash, Nimit Kothari, Nitin Kukreja, Prashant Devadiga, Rakesh Paul, Ratanjeet Pratap Chauhan, Raunak Kalani, Raviraj Joshi, Shamanth MH, Shantanu Pandey, Shubham Soni, Siddharth Dixit, Smriti Jopat, Sunil Patel, Suraj Singh, Suvradip Paul, Tulasi Pilla, Utkarsh Vaidya, Vineeth Nambiar, Vishal Kanvaty, Yatharth Dedhia来源日期：2026.02.04

模型训练预训练

摘要

我们提出 FiMI（印度财务模型），这是一种专为印度数字支付系统开发的领域专业金融语言模型。我们开发了两种模型变体：FiMI Base 和 FiMI Instruct。 FiMI 通过多阶段训练管道调整 Mistral Small 24B 架构，首先对 680 亿个精选金融、多语言（英语、印地语、印度英语）和合成数据token进行持续预训练。接下来是指令微调和特定领域的监督微调，重点是多轮、工具驱动的对话，这些对话模拟现实世界的工作流程，例如交易纠纷和任务生命周期管理。评估显示，FiMI Base 在金融推理基准方面比 Mistral Small 24B Base 模型提高了 20%，而 FiMI Instruct 在特定领域工具调用方面比 Mistral Small 24B Instruct 模型高出 87%。此外，FiMI 实现了这些显着的领域收益，同时在一般基准上保持与类似大小的模型相当的性能。

FiMI：面向印度金融生态的领域专用语言模型 — 图5：自动化评估流水线。展示基于推理的任务的两阶段评估过程的工作流，突出显示使用预训练模型API的生成阶段，以及随后使用DeepEval框架和专用judge模型进行评分的阶段。