论文

轻量级多模态 LLM 实现具有成本效益的输电设备缺陷分级

Lightweight Multimodal LLM-Enabled Cost-Effective Defect Grading of Power Transmission Equipment

应用与实践行业应用

摘要

输电设备(DGPTE)的缺陷分级对于电能传输的稳定性至关重要。尽管现有的机器学习方法在缺陷检测方面表现出强大的能力,但在更精细的缺陷分级领域,它们难以整合专家经验和面临类别不平衡。为了解决这个问题,本文介绍了一种基于多模态 大语言模型 (MLLM) 的新型缺陷分级框架。具体来说,这种方法通过上下文学习最大限度地发挥商业 MLLM 的 DGPTE 潜力,并获得最先进的 (SOTA) 模型。通过向该模型发送二次请求,生成少量基于思维的问答对(Q\&As)链,有效降低了人工标注的成本。通过这种方式,这些高质量的可解释问答用于通过基于低秩适应的监督 微调 (SFT) 来训练 Qwen3-VL-8B。三个 DGPTE 任务的实验结果表明,微调 仅语言模型层即可产生 SOTA 性能。此外,多任务联合 微调 验证了仅在单个轻量级 MLLM 内处理多个分级任务的可行性。