Flide以精确状态分叉加速Jev类决策模型推理

Jev 等决策模型已成为 LLM 代理系统的一种非常有前途的范例，为快速 System One 执行提供轻量级且可靠的分类推理。然而，现有的面向生成的推理引擎无法有效地支持这些工作负载，遭受严重的前缀重新计算开销或扭曲的输出概率。为了应对这一挑战，我们提出了 Flide，这是一种高效且精确的推理引擎，它将决策请求的逻辑树结构与其在单个扁平 token 流中的物理执行分离。通过 ForkAttention，Flide 使用 GPU 驻留索引跨标准注意力层和循环门控 DeltaNet 层来导航请求依赖关系，从而在精确算术条件下保证每个查询分支的计算结果与隔离的前向传递相同。通过直接在 GPU 驻留元数据中表达分支拓扑，Flide 通过一组紧凑的预先记录的执行图来容纳不同的请求混合，同时允许扩展代理历史记录从早期传递中保存的检查点恢复。对公共混合和决策模型的广泛评估表明，Flide 回答查询的速度比 vLLM 和 SGLang 最高快 9.5 倍，同时在总变差距离上保持最接近 float32 参考。通过将物理执行吞吐量与数学精确性相结合，Flide 为代理系统中可扩展、延迟敏感的决策智能奠定了原则基础。