论文
通过角色支架对抗性思想链 VLM 验证进行被动施工现场安全监控
Passive Construction Site Safety Monitoring via Persona-Scaffolded Adversarial Chain-of-Thought VLM Verification
摘要
建筑业仍然是美国死亡人数最多的行业,2023 年有 1,055 名工人死亡,其中大多数是可以预防的。现有的监控方法价格昂贵,需要实时的人工操作员,或者只能解决一小部分违规行为。本文提出了一种被动的、班末施工安全监控管道,通过三阶段架构处理来自 POV 佩戴式和固定壁挂式摄像机的视频:(1) 用于主要 PPE 和危险检测的微调 YOLO11,(2) 用于分段细化和工人重复数据删除的 SAM 3,以及 (3) Qwen3-VL-8B-Instruct,具有方法提示、角色支架三通道对抗模型用于合规性验证和幻觉控制的思想链协议。主要贡献是第 3 阶段的提示设计:在对 12 个视频 Ironsite 开发语料库的非正式三作者审查中,遵循方法-演员框架的专业角色背景故事推动了比单遍提示提高 12% 的精度,其中在易产生幻觉的违规类别中收益最大。结构消息隔离强制生成器、鉴别器和协调通道之间的观察独立性,这些通道由编码有关人类观察与自动检测可靠性的先验的不对称规则控制。该系统将违规情况映射到 OSHA 标准,根据姿势关键点执行受 REBA 启发的人体工程学风险评分,并生成带有时间戳证据的每个工人的安全报告。发布了评估工具以供将来复制。