论文
SOLARIS：推理扩展的基于潜在表示的推测卸载
SOLARIS: Speculative Offloading of Latent-bAsed Representation for Inference Scaling
摘要
推荐缩放法则的最新进展导致基础模型变得前所未有的复杂。虽然这些模型提供了卓越的性能，但它们的计算需求使得实时服务变得不切实际，常常迫使从业者依赖 知识蒸馏 来提高效率，而这会牺牲服务质量。为了应对这一挑战，我们提出了 SOLARIS（推理扩展的基于潜在表示的推测卸载），这是一个受 推测解码 启发的新颖框架。 SOLARIS 通过预测哪些用户-项目对可能出现在未来的请求中，并提前异步生成其基础模型表示，主动预先计算用户-项目交互嵌入。这种方法将成本高昂的基础模型推理与延迟关键的服务路径解耦，从而能够从以前被认为对于在线使用来说过于昂贵的模型进行实时知识传输。 SOLARIS 部署在 Meta 的广告系统中，为数十亿的日常请求提供服务，实现了 0.67% 的收入驱动顶线指标增益，证明了其大规模有效性。