模型

Hy4 flash 开放权重,提供指令、FP8 量化和预训练三个版本

Hy4 flash 开源

模型架构模型推理模型优化MoE混合架构KV Cache量化

概述

Hy4 flash 支持图文输入和文本输出,上下文上限为 1M 词元。11 月 16 日发布时已可通过腾讯云 TokenHub 等入口使用,11 月 18 日交付可下载权重。此批含 BF16 指令模型、FP8 指令模型与未进行指令微调的 Base 模型,模型卡给出 Transformers、vLLM 和 SGLang 路径,相关文件同步在 Hugging Face、ModelScope 和 GitCode 提供。腾讯发布公告与模型卡曾使用 224B 和 220B 两种总参口径,均给出约 12B 每词元激活参数。本条记录新权重交付阶段,许可为 Tencent Hy License。