SEIS：自我进化推理系统

推理系统决定了语言模型的服务速度和成本，因此使它们更快具有直接的实用价值。然而，之前的工作主要集中在优化大型系统中的某些部分，例如内核或记忆。在这项工作中，我们采取整体方法并应用Agentic自进化来优化整个系统端到端。我们的 SEIS（自我进化推理系统）通过继承经验和代码更改的迭代会话，自动优化整个迷你俚语引擎，无需人工干预。在 H100 上为 Qwen3-0.6B 提供服务，生成的引擎达到了原始 mini-sglang 实现的 3.27 倍吞吐量，并在单请求工作负载中击败了 vLLM、TensorRT-LLM和 SGLang 等 SOTA 引擎。 SEIS 优化推理引擎的正确性通过数学和长上下文检索任务的数值差异和下游准确性进行了测试。代码和会话历史记录表明，加速来自于重新设计整个引擎，并且基于早期会话的构建击败了独立的尝试。这些结果表明Agentic自我进化可以优化复杂系统端到端。评估还必须随着引擎的发展而发展，让智能体发展它是自然的下一步。