OrBIT：结构引导的大模型嵌入表压缩

嵌入表是现代语言模型最大的组成部分之一。大多数压缩方法都会修复编码几何结构，例如坐标块、低秩子空间或不受限制的码本，并在其中进行优化。相反，我们要问编码几何本身是否可以被发现。我们引入了 \emph{OrBIT}，一种结构引导的嵌入压缩框架，它从轨道动力学中学习可重用的局部几何形状，并用它来约束一小组共享码字。然后，全局重建残差决定固定编码预算花在哪里，而冗余重叠图表让局部误差在粘合后相互补偿。我们的理论展示了紧密图表几何如何控制失真，全局残差如何指导顺序分配，以及数据几何引导的细化如何改进编解码器。由此产生的轨道机制被编译掉，留下一个紧凑的解码器，其中学习的结构控制存储内容、分配容量以及如何在全局范围内组装本地信息。通过四个 LLM 嵌入表，OrBIT 实现了 相对于 16 位存储，GPT-2 上的压缩为 37.9\times$，每个 7B 表的压缩超过 23\times$，同时相对于已建立的量化和低秩基线提供具有竞争力的率失真性能。