开源项目
seoan1024/Korean-llm-v3:约1.09B参数韩语LLM完整训练实验工程
seoan1024/Korean-llm-v3
概述
该仓库是可运行的完整韩语LLM训练实验工程,并非仅发布模型权重。README标注项目为Korean LLM v4,定位是「在个人环境亲手做一个韩语LLM」:约1.09B参数的Decoder式Transformer,hidden维度1920、20层、10个注意力头,采用SwiGLU、RMSNorm、RoPE与BF16精度,分词器为beomi/Llama-3-Open-Ko-8B,训练流程为预训练(默认10万步)加SFT(默认1万步),支持AdamW8bit优化器,并用Tkinter加Matplotlib做监控。仓库于2026-08-23以仓库创建形式发布,基于Python 3.10+与PyTorch 2.x。