论文
长时域模拟设计平台:针对长达数小时的模拟和混合信号电路设计任务对Agent进行基准测试
Long-Horizon Analog Design Bench: Benchmarking Agents on Hours-Long Analog and Mixed-Signal Circuit Design Tasks
摘要
编码Agent现在可以维持长达数小时的工具驱动循环,但它们将长范围模拟和混合信号电路传输到电气规范的能力此前仍未得到测量。我们引入 Analog Design Bench,这是一项长期 agentic 基准测试,包含 17 名芯片设计人员贡献的 50 项晶体管级设计任务。Agent使用开源模拟器,而隔离验证器使用基于规范的电气测试来评估提交的电路。我们在 2,250 次两小时的尝试中评估了 15 种Agent配置,并观察到全规格通过率从 8.0% 到 78.0%。编码基准性能与模拟结果相关,但许多性能差异无法解释。我们的失败分析表明,大多数不成功的提交没有记录合法性拒绝,但未能通过电气验收,将电气指标达标确定为主要终点挑战。我们测试时间、推理努力、Agent Harness,并提供设计知识作为干预措施。更长的预算和更高的推理工作可以提高性能,而一般的技能文档几乎没有什么好处,有时还会降低性能。提供任务匹配的参考拓扑(电路 IP 检索的理想形式)将 DeepSeek V4 Pro 提高了 18.7 个百分点,主要加速了 GPT-5.6 Sol。