论文
塔吉克语LFM2.6B工具调用适配:继续预训练与后续SFT的能力得失
Saidzoda-Tajik-LFM-2.6B: Adapting a 2.6B Hybrid Model to Tajik Tool Calling, and What Continued Pretraining Takes Away
摘要
作者发布 Saidzoda-Tajik-LFM-2.6B,将26亿参数混合模型 LFM2.5-2.6B-Base 适配为可在普通硬件上进行塔吉克语工具调用的模型。训练分两阶段:先以 LoRA 在1485319份清洗后的塔吉克语网页文档上继续预训练(CPT)3轮,再在机器翻译的塔吉克语工具调用、用于回放的英语工具调用及塔吉克语指令混合数据上,监督微调(SFT)1轮。在由 BFCL v3 构建并机器翻译为塔吉克语的174项工具调用测试中,塔吉克语提示的严格完整调用准确率从基础模型的20.69提高至64.14,配对差值为+43.45个百分点,95%区间为+35.2至+51.7;若用也接受基础模型自身调用格式的宽松解析器,基础模型得分为31.72。英语表现无可检测的变化,为76.55和77.24。全部 CPT 检查点得分均为零:CPT 不仅抹去了原生工具调用格式,宽松重评分还表明其损害了部分调用能力。在工具调用以外,塔吉克语知识基准准确率从28.0提高至35.0,Belebele 塔吉克语无显著变化,英语 MMLU 从60.8降至52.5。该模型不是通用塔吉克语助手;当无工具适用时,几乎不会拒绝调用,塔吉克语正确率为6.9%,基础模型在宽松解析下为31.0%;它的多轮调用能力较弱,调用执行前应进行检查。论文详细说明数据、训练设置及每项评测,以支持复现。
