论文

RTL-BenchMT:通过智能体辅助分析与修订的RTL生成基准动态维护

RTL-BenchMT: Dynamic Maintenance of RTL Generation Benchmark Through Agent-Assisted Analysis and Revision

模型评测基准与评测资源

摘要

本文介绍RTL-BenchMT,一个用于动态维护RTL生成基准的智能体框架。大语言模型(LLM)辅助的自动化RTL生成是EDA研究中最重要的方向之一。然而,当前RTL基准面临两个关键挑战:(1)基准中存在缺陷案例;(2)对基准的过拟合。这两个挑战都难以仅靠人工工程投入解决。为解决这些问题并系统性降低人工维护成本,我们提出自动化智能体框架RTL-BenchMT。RTL-BenchMT聚焦两个关键应用:(1)自动识别并修订有缺陷的基准案例;(2)自动检测并更新过拟合案例。借助RTL-BenchMT,我们对缺陷案例与过拟合案例进行了透彻深入的分析,并产出一个将向社区开源的精炼基准套件。

RTL-BenchMT:通过智能体辅助分析与修订的RTL生成基准动态维护:论文配图
图 1。(1) 有缺陷的情况和 (2) 过度拟合是 RTL 生成基准的两个重大挑战。 RTL-BenchMT 通过动态维护基准来解决这些挑战。 RTL-BenchMT 在两个重要方面做出了贡献:(1)自动识别和修改有缺陷的案例;(2)自动检测和更新过拟合案例。