LogRouter：大数据系统中用于日志问答的自适应两级 LLM 路由

自托管、资源受限环境中的生产日志分析需要以自然语言访问大量日志流，而无需通过 大语言模型 路由每个查询的成本。我们推出了 LogRouter，这是一个部署在 TUBITAK BILGEM 国家大数据平台上的端到端日志问答系统，它结合了基于 PySpark 的 Drain3 摄取管道、GPU 加速嵌入以及 Apache Druid 和 PostgreSQL 中的双索引存储与 pgvector。两级成本感知路由器沿着四个执行路径之一调度每个查询：直接响应、Druid 关键字搜索、带有 SQL 生成的模板查找和 pgvector 语义检索，而 2 级路由器为语义路径选择 14B 类或 32B 类生成器。专用编码器 LLM 处理文本到 SQL 的生成。我们在在线全管道配置和隔离生成器的离线配置下，在四个 LogHub 数据集（Linux、Apache、Windows 和 Mac；总共 70 个问题）上评估系统。该路由器在数据集上的平均准确度达到 88.4%，在 Linux 上达到 94.7%，而整个管道的平均 ROUGE-1 为 0.373，BERTScore 为 0.879，RAGAS 忠实性 为 0.779，端到端延迟为 18.6 秒。在离线比较中，与固定 32B 基线相比，路由系统将平均延迟降低了 55%（46.3 秒与 102.1 秒），同时将答案正确性保持在 5.8 分之内，并且在每个数据集的 RAGAS 忠实性 上超过了固定 14B 基线。因此，成本感知调度是生产日志 QA 的一种实用机制：路由以不到一半的延迟恢复始终 32B 配置的大部分质量，并且 L1 关键字词汇使路由决策具有高精度，而无需学习分类器。