论文
SimuAgent:基于LLM并以强化学习增强的Simulink建模助手
SimuAgent: An LLM-Based Simulink Modeling Assistant Enhanced with Reinforcement Learning
摘要
大语言模型(LLM)已彻底改变了基于文本的代码自动化,但它们在面向图形的工程工作流中的潜力仍未被充分探索。我们推出 SimuAgent,一个为 Simulink 量身打造的 LLM 驱动建模与仿真 Agent。SimuAgent 用简洁的字典式 Python 表示取代冗长的 XML,大幅削减 token 数量、提升可解释性,并支持快速的进程内仿真。一个轻量的规划-执行(plan-execute)架构经两阶段训练,使 Agent 同时具备底层工具技能和高层设计推理能力。为解决长程任务中的稀疏奖励问题,我们提出 Reflection-GRPO(ReGRPO),在组相对策略优化(GRPO)基础上加入自反思轨迹以提供丰富的中间反馈,加速收敛并增强鲁棒性。在我们新发布的、包含 5300 个多领域建模任务的基准 SimuBench 上的实验显示,经 SimuAgent 微调的 Qwen2.5-7B 模型比标准 RL 基线收敛更快、建模精度更高,在同一基准上以少样本提示评估时甚至超过 GPT-4o。消融实验证实,两阶段课程和抽象-重构数据增强进一步提升了泛化能力。SimuAgent 完全可在适中硬件上本地部署训练与运行,为工业模型驱动工程提供保护隐私、高性价比的方案。SimuAgent 弥合了 LLM 与图形化建模环境之间的差距,为工业环境中的 AI 辅助工程设计提供实用方案。
