论文
VEHBench:LLM 辅助振动能量收集器设计的阶段本地诊断基准
VEHBench: A Stage-Local Diagnostic Benchmark for LLM-Assisted Vibration Energy Harvester Design
摘要
无电池物联网 (IoT) 需要在耦合物理约束下迭代设计振动能量收集器 (VEH),而 LLM 正在成为工程工作流程的接口层。然而,现有的工程基准主要评估最终工件的有效性,对 LLM 在耦合物理设计的不同阶段如何表现的了解有限。我们推出了 VEHBench,这是一种用于 LLM 辅助 VEH 设计的工程原生诊断基准,具有由分析物理预言机评分的 763 个基于文献的任务。 VEHBench 评估四种设计角色:规范分类、验证者引导搜索、损坏状态恢复和策略条件选择。实验结果表明,LLM 功能具有很强的阶段依赖性:没有单一模型始终主导整个工作流程,并且响应控制配置文件揭示了跨设计角色的不同行为模式。因此,VEHBench 为评估、选择、布线和改进基于验证器的工程 LLM 提供了阶段感知基础。基准工件可在 https://huggingface.co/datasets/AnonymousVehbench/vehbench 上找到