论文
PLCWorld:闭环工厂仿真评测LLM生成的PLC程序
PLCWorld: Benchmarking LLM-Generated PLC Programs in Closed-Loop Plant Simulation
摘要
可编程逻辑控制器(PLC)通过读取传感器输入与发出控制命令协调工业设备。评估LLM生成的PLC程序是否满足任务需求与安全约束,需要观察其命令如何影响设备与工件状态。我们提出PLCWorld:把结构化文本(ST)执行与模拟工厂响应及传感器反馈耦合的通用闭环执行环境与基准。基于从工业PLC程序与工程文档识别的控制关系,PLCWorld含横跨运动控制与物料搬运的100个合成任务与473个注册任务-条件对,难度由控制依赖范围定义;通用协议分别报告任务成功与安全违规。验证结合从业者评审、参照与替代程序、针对性反例、规格-评估器对齐检查及与独立ST运行时的比较:参照与替代程序满足其适用用例,全部542个针对性反例在至少一个注册条件下触发其指定评估器规则。执行差距把提交画像的接受度与后续任务失败或观察到的安全违规联系起来。跨所构任务组,GPT-5.5直接生成在简单情形达82.70%任务成功、困难情形仅25.10%;六LLM与四个适配生成-验证工作流的评估进一步暴露完成、安全与生成成本间的差异。代码/项目页:https://yunji0516.github.io/PLCWorld/。