模型
Cola2开放连续潜变量语言模型权重,联合语义压缩与离散生成
Cola2: released checkpoint
概述
Cola2将文本动态划分为语义片段,以连续潜变量压缩每段,再由块因果Diffusion Transformer生成潜变量块,最后通过带潜变量反馈的Token解码器输出文本。推理会将已提交文本重新编码,使连续与离散历史保持对齐。本次HF仓提供八个safetensors权重分片、分词器、配置、Transformers remote-code模块、八项评测的规范化JSONL及校验和;配套仓提供命令行、推理与评测入口,训练代码不在发布范围。模型以3460.3亿来源Token训练,论文自报八任务平均60.10,比较对象训练配方与Token口径不同,不能据此直接隔离架构收益。运行需要Python3.10+、PyTorch2.2+、Transformers4.51至4.x,建议使用支持BF16的CUDA,并显式启用trust_remote_code。它不是指令微调聊天助手,贪婪Token选择仍受潜变量高斯噪声影响,应固定随机生成器比较输出。代码采用Apache2.0;权重、分词器与第三方评测材料仍受各自条款约束,不能把代码许可外推给全部工件。