对称隐私：LLM 推理的正交等变 Transformer

在本地运行 大语言模型 通常是不切实际的，会将敏感文本的推断推给第三方提供商。分割推理通过将词元保留在客户端并仅发送隐藏表示来部分缓解这种情况，但这些表示仍然可以通过针对公共嵌入表的最近邻居搜索来恢复。我们提出了一种正交混淆过程，其中客户端在传输之前将嵌入乘以秘密正交矩阵。为了在任意旋转下实现正确的推理，我们引入了 ConjFormer，这是一种 Transformer 变体，它通过轻量级归一化变化（标量 RMSNorm）以及所有线性权重的块式正交共轭，与 $\mathrm{O}(d)$ 等变。因此，服务器完全在旋转的基础上执行完整的前向传递，并且从不观察未旋转的隐藏状态。在 PubMed 上微调的 GPT-2 和 Llama 3.2 1B 模型上的实验表明，正交混淆消除了直接余弦最近邻反转，并将 token 恢复率从 top-10 的 35% 以上减少到最多 1.3%，而在 微调 后仅增加了 0.4% 的困惑度。这些结果表明，在架构级别强制实施对称性可以为隐私保护 LLM 推理提供实用的防御，而无需噪声注入或重型加密机制。