为桥梁诊断代理编码隐形因果关系:使用 QLoRA 进行三重引导检索增强 微调
Encoding Invisible Causation for Bridge Diagnostic Agents: Triple-Guided Retrieval-Augmented Fine-Tuning with QLoRA
摘要
桥梁基础设施逐渐恶化,但其根本原因——盐分侵入、冰冻、疲劳开裂等——仍然是肉眼看不见的。专家诊断依赖于多年实践中积累的隐性知识。我们通过提出一种损坏原因编码器来解决自动执行这种潜在因果推理的挑战,该编码器从可见损坏描述 $S_i$ 中对 10 类损坏原因进行分类,以用于自主桥梁诊断代理。我们的方法由三个组成部分组成:(i)知识三元组提取——大语言模型 从 15--35 个诊断 PDF 手册中提取形式为(损害 $\xrightarrow{\mathtt{caused\_by}}$ 原因)的因果三元组,并将其索引到 FAISS 矢量存储中; (ii)检索增强上下文——在训练和推理时,检索相关因果三元组$\mathcal{C}_i$并与$S_i$连接,将隐式领域知识转换为显式编码器上下文; (iii)系统的 微调 比较——我们在固定的黄金测试集(116 个分层样本)上对 LoRA、QLoRA 和 QA-LoRA 进行了严格比较,证明 QLoRA 实现了最佳权衡:与全精度 LoRA 相同的测试精度 (87.07%)、推理速度提高 11%、GPU 内存降低 72%,以及跨各种未见输入的出色泛化能力。引入受控的黄金测试集(分层、重复数据删除和难度标记)作为可重用的基准贡献。在涵盖所有 10 个损坏原因类别的 100 个样本的多样化评估中,QLoRA 的性能进一步优于 LoRA 13 个百分点。这些研究结果使得消费级硬件上的内存高效、高精度诊断代理能够用于边缘部署。