通过词元修剪优化以韩语为中心的 LLM

本文提出了通过词元修剪调整的最先进的多语言 大语言模型 (LLM) 的系统基准 - 一种压缩技术，可消除与目标应用程序无关的语言对应的词元和嵌入参数。我们专注于以韩语为中心的自然语言处理 (NLP) 任务，评估了包括 Qwen3、Gemma-3、Llama-3 和 Aya 在内的三种词汇配置的架构：原始、英语-韩语 (EnKo) 和英语-韩语-中文 (EnKoZh)。使用一般能力、文化素养、指令遵循和机器翻译的既定基准来评估绩效。我们的研究结果表明，标记修剪通过消除语言混乱显着提高了生成稳定性，并且在机器翻译的情况下，经常提高韩语特定任务的性能。虽然指令跟踪功能显示了与潜在跨语言表示相关的架构相关差异，但词汇量的显着减少验证了词元修剪作为内存受限、特定于域的部署的高效优化策略，尽管推理延迟略有增加。