论文

SEA-LION-v4.8：技术报告

SEA-LION-v4.8: A Technical Report

Adila Aulia; Ahmed Dabeer; Ahn Jeongmi; Antonyrex Sajeban; Chan Hok Teng Adwin; Cheng Zi Yi Nicholas; Choa Hsueh Mei Esther; Heng Jonathan; Jann Railey Estrada Montalan; Lee Chwan Ren; Leong Wai Yi; Leong Wei Qi; Liew Rachel; Limkonchotiwat Peerat; Muhammad Ridzuan Bin Mokhtar; Nagarajan Karthik; Ng Boon Cheong Raymond; Ngee Chia Tai; Ngui Jian Gang; Nguyen Thanh Ngan; Ong Tat-Wee David; Pereira Mark; Phang Shi Wei Benjamin; Poon Joseph; Rengarajan Hamsawardhini; Susanto Yosephine; Sutaveephamochanon Anocha; Tan Choon Meng; Tan Chor Phin Evelyn; Tan Le Min Sheryl; Tan Siao Wei Jessica; Tan Yixian; Tasawong Panuthep; Tee Jun Yun; Teng Kok Wai Walter; Teo Eng Sipp Leslie; Tjhi William; Tuchinda Pume; Wu Donghang; Yong Xianbin; Zhang Zhou来源日期：2026.09.17

模型训练预训练

摘要

我们推出 Nemotron-SEA-LION-v4.8，这是一个基于 NVIDIA Nemotron 3 构建的东南亚语言一体化网络 (SEA-LION) 模型系列。该系列包括 30B-A3B 和 120B-A12B 模型，具有持续预训练的基础检查点和后训练的变体。我们使用东南亚、推理、代码和多语言并行数据来调整模型，然后通过监督微调和在线策略蒸馏进行后训练。在 SEA-HELM 上，30B-A3B 模型将整体 SEA 得分从 46.06 提高到 51.57，而 120B-A12B 模型从 49.30 提高到 63.44。在七种东南亚语言中，我们观察到 120B-A12B 模型的广泛能力提升，显示出跨任务更广泛、更一致的改进。