802.11 数据包捕获的循证整体诊断:具有确定性可靠性评分的多级管道
Evidence-Grounded Ensemble Diagnosis of 802.11 Packet Captures: A Multi-Stage Pipeline with Deterministic Reliability Scoring
摘要
诊断 802.11 数据包捕获需要专业的协议知识,速度慢,工程师之间不一致,并且不可扩展。基于 LLM 的方法听起来似乎很有道理,但会伪造捕获中缺少的协议事件(尤其是截断的迹线),产生未校准的置信度分数,并且当测试模型共同生成标准参照时会遭受评估偏差。我们引入了 PROBE(基于证据的集成的协议推理),这是一个解决所有三个故障的多级管道。它集成了 (i) 具有帧级可验证性的确定性 PCAP 到文本标准化,(ii) 多运行、多候选集成,具有可选的跨模型第二意见和渐进混淆,(iii) 将缺乏失败证据视为贡献证据的判决感知证据框架,以及 (iv) 来自证据有效性、运行稳定性和跨模型一致性的完全确定性综合可靠性评分,无需 LLM自我评估。在 87 个企业 Wi-Fi 捕获(104 个捕获-审核者对)上,单遍 LLM 分析将加权证据 F1 从 0.871(专家基线)提高到 0.912,但在 35% 的情况下错过了关键帧。由于多数投票放大了保守派的裁决,朴素整体投票降至基线 (0.842) 以下:50% 的已确认失败被错误分类为“没有问题”或“证据不足”。添加基于证据的调节可实现 0.957 F1、96% 的自动接受率以及高于 0.70 的最坏情况下限。 LLM 自我报告的置信度集群为 0.95,无论难度如何(71% 的报告准确为 0.95),证实它没有提供任何信息。我们还引入了一个与模型无关的评估框架,使用每个字段断言匹配,消除模型共同生成的标准参照中的循环偏差。