论文
CLOSER-Bench:评估硬件代理的预算跨阶段设计收敛
CLOSER-Bench: Evaluating Budgeted Cross-Stage Design Closure for Hardware Agents
摘要
硬件工程将 编码智能体 暴露于一种难以用 pass-at-k 捕获的长期工作形式:进度是连续的,工具反馈是延迟且异构的,后端故障可能需要修改 RTL,而不是调整另一个物理设计参数。现有的基准衡量 RTL 生成、存储库修复、验证、PPA 演变或物理实现,但它们不同的设计和预言使得很难确定代理在跨抽象边界的成功或失败的地方。我们引入了 CLOSER-Bench,这是一种用于预算跨阶段设计收敛的受控评估协议。对于一种设计和一个隐藏目标,它会将规格到 RTL、RTL 到 GDS 以及规格到 GDS 任务配对,记录每个模拟器、综合、STA 和布局布线调用,并测量最终质量、随时进度、工具成本和跨阶段恢复。该基准测试基于开源 Verilator、Yosys、OpenROAD、KLayout、Sky130 和 Harbor 代理工具构建。涵盖 RTL 修复、基于突变的验证、覆盖、PPA 优化、设计空间探索、跨模型调试和安全性的十项任务试点建立了可执行的工具,并暴露了明显的完成-闭合差距:三个代理解决了本地化 AXI 修复任务,而匹配的验证-闭合任务将前沿代理与两个其他成功的基线分开。我们进一步验证了完整的 RTL 到 GDS 流程,并构建了一个基于宏的 AXI/DMA 流加速器,用于阶段配对评估。这些结果促使将硬件收敛视为预算顺序决策问题,而不是独立代码生成任务的集合。