开源项目
llama.cpp以分块解包接入Inkling2图文转换与执行
feat: add Inkling 2 support (text + vision)
概述
llama.cpp 是面向本地及自托管模型的 C/C++ 推理与服务工具。本次接入Inkling2文本、静态图像模型及GGUF转换,未包含DSpark草稿器。转换器按层识别NVFP4/MXFP8、核伴随尺度和形状,重排w13权重及尺度行,并用LazyChunkedTensor每次至多128行解包;其余权重保持meta占位。对提交说明所列384×4608×4608层,整层F32逻辑体积30.375 GiB,单128×4608块2.25 MiB,这不是整模型RSS实测。固定测试检查分块、格式输出与错误元数据;真实完整checkpoint转换未测。b12406提供实现,不把音频、视频或DSpark列为已支持。