模型
Hy-Memory-30B-A3B新增官方GGUF量化版本,支持llama.cpp本地记忆写入
Hy-Memory-30B-A3B-GGUF
概述
本次更新为Hy-Memory-30B-A3B的GGUF交付,不重复计算原模型发布。该模型用于外部记忆框架的写入环节,判断保留哪些事实及如何更新长期记忆;GGUF仓库新增Q4_K_M imatrix、Q6_K imatrix和Q8_0三档,文件约18.24、24.71和31.99 GB,标注Apache 2.0许可。官方提供经验证的llama.cpp启动配置,包括64K上下文、F16 KV、no-think模式以及张量检查,可通过OpenAI兼容接口连接记忆流程。量化评测使用Mem0 2.0.19和固定20% LoCoMo子集,包含2名用户、262题、59个记忆块;在该设置下Q6_K得分58.78%、Q8_0为57.63%、Q4_K_M为56.49%。这些是小规模固定设置下的量化比较,不能将原BF16模型跨框架成绩当成各量化版实测。仓库10月19日创建,同日提交权重文件并补齐部署说明。