AloePri 通过协变混淆保护云端模型推理数据

大语言模型的快速发展推动了云端推理服务的广泛应用，也带来远程推理过程中私有数据传输与处理的隐私风险。要让隐私保护推理实际用于工业场景，需同时满足三项要求：尽量减小准确率及效率损失，避免服务体验下降；能够在异构存量xPU构成的大规模集群上运行；兼容现有大语言模型基础设施，复用已有工程优化。作者认为，现有方法尚不能在满足全部条件的同时提供有意义的隐私保障。我们提出面向工业应用的隐私保护推理方法AloePri。它使用协变混淆，联合变换数据与模型参数，保护输入和输出，并兼顾准确率与隐私。针对各模型组件精心设计变换，使推理准确率、数据隐私及现有模型即服务基础设施兼容性能够同时保持。AloePri已集成到用于评估主流模型的工业系统中。在671B参数的Deepseek-V3.1-Terminus上，准确率损失为0.0%至3.5%，效率与明文推理相当；面对当前最佳攻击，恢复出的Token少于5%。据作者所知，AloePri是首个在真实系统中展现大规模模型实际适用性的此类方法。