ComplianceGate：用于受监管行业推理的分类器门控多层 LLM 路由

部署在受监管行业中的 大语言模型 在两个约束下运行：合规性执行和成本效率。在系统确定数据是否应离开其管辖边界之前，用户查询中的个人身份信息 (PII) 可以到达模型端点。无论查询复杂程度如何，通过单个大型模型为所有查询提供服务都会消耗全部 GPU 容量，同时不提供地理路由机制。专家混合架构无法解决数据到达端点后模型内专家层之间发生的这种路由问题，无论查询复杂性如何，所有专家都加载到内存中。我们提出了一种分类器门控路由架构，通过设计强制遵守规定。经过训练的编码器分类器位于任何解码器推理之前，评估每个查询的复杂性和数据敏感性，然后将其路由到适当地理位置的适当大小的密集模型。包含 PII 的查询在任何 LLM 计算开始之前路由到本地端点，从结构上讲，数据驻留违规是不可能的。简单的查询只需花费一小部分成本即可到达小型、快速的模型。我们对 600 个查询的评估表明，中值延迟减少了 39%，成本节省了 33-52%，具体取决于查询分布，生成吞吐量为 122-200 个词元/秒，而基准为 50-64 个词元/秒。编码器分类器以 7 毫秒的推理开销实现了 99.2% 的准确度和近乎完美的 PII 召回，将预推理分类建立为实现合规性设计 LLM 部署的实用途径。