论文

NativeTernary:一种自定界二进制编码,具有用于三元神经网络权重、结构化数据和通用计算基础设施的一元游程层次结构标记

NativeTernary: A Self-Delimiting Binary Encoding with Unary Run-Length Hierarchy Markers for Ternary Neural Network Weights, Structured Data, and General Computing Infrastructure

AI 基础设施模型部署

摘要

BitNet b1.58(Ma 等人,2024)证明 大语言模型 可以完全在三元权重 {-1, 0, +1} 上运行,但此类模型不存在原生二进制线格式。 NativeTernary 弥补了这一差距。在真实 BitNet b1.58 2B4T 架构(24 层、约 170 个张量、2B 参数)上针对 GGUF 进行基准测试:NativeTernary 以每个权重 2.000 位对三元权重进行编码——比 GGUF Q2_K 小 1.31 倍,比 GGUF int8 小 4.0 倍——同时将边界和帧开销减少 460 倍(91 字节 vs ~42KB GGUF 张量头)。编码吞吐量:47--69 MB/s。解码吞吐量:在商用硬件上为 35--45 MB/s。该解码器是一个 10 线无状态状态机,能够抵抗比特流损坏。