BitNet 文本嵌入

基于 LLM 的文本嵌入器大大提高了检索和语义表示质量，但其部署成本仍然很高：大型骨干模型会减慢嵌入推理速度，而高维全精度嵌入会给大规模索引带来大量存储和带宽开销。在本文中，我们提出了 BITEMBED，这是一种基于 LLM 的文本嵌入的极低位框架，其共同目标是编码效率和向量存储。 BITEMBED 将预训练的 LLM 主干网络转换为具有三元权重、量化激活和轻量级归一化细化的 BitNet 风格嵌入编码器。转换后的模型通过连续对比 预训练 适应表示学习，然后是来自全精度教师的具有相似性分布 蒸馏 和注意关系 蒸馏 的监督对比 微调。除了量化主干之外，BITEMBED 还进一步训练输出嵌入以支持多种存储精度，满足各种场景下的不同存储需求。使用 Qwen3-0.6B 和 Gemma3-270M 在 MMTEB（eng，v2）上进行的实验表明，BITEMBED 在很大程度上与全精度教师嵌入器相当。而且，BITEMBED可以灵活地获得各种精度的文本嵌入，实现性能和存储成本之间的权衡。