论文

2D-FET-Bench:从空间推理到薄片器件设计

2d-fet-bench: from spatial reasoning to fet design on flakes

智能体系统Agent任务评测长程任务评测

摘要

剥离的二维薄片上的场效应晶体管 (FET) 布局通常是针对每个薄片手工绘制的,放置触点和栅极以匹配其在光学显微照片中的位置和轮廓。据我们所知,没有可执行的基准测试语言模型智能体是否可以可靠地执行这种特定于薄片的构造。我们推出了 2D-FET-Bench V2,这是根据显微镜衍生的薄片轮廓构建的 128 个布局任务的基准,包括含孔薄片和多薄片任务。每个任务都提供文本设备规范和轮廓坐标。 智能体生成渲染到 GDSII 的类型化多边形和路径操作。确定性验证器检查几何和结构要求,并且单独的完整性检查验证提供的轮廓是否保持不变。脚本化参考布局通过了所有 128 个任务,表明每个任务都是可以解决的。我们评估了 GPT5.6-Luna 的六个模型和七个工作流程以及 脚手架 变体,每个任务进行五次尝试。六模型面板中性能最佳的配置是带有 ReAct-3 的 GPT5.6-Luna,通过了 62.3% 的尝试,并至少解决了一次 80.5% 的任务(覆盖率),在所有五次尝试中解决了 43.8% 的任务(一致性)。 ReAct-3 比单次计划和执行多出 27.0 pass@1 点,是 token 的 2.46 倍。对每个覆盖任务的一个样本验证者通过布局进行专家审核,跨越五种 ReAct-3 配置,接受其中的 56.4% 至 63.5%。该基准评估几何和结构 FET 布局构造。

2D-FET-Bench:从空间推理到薄片器件设计:论文原图
图 8:六种 ReAct-3/C0 配置中的故障症状(每种配置 640 次尝试)。 (a,b) 受影响的失败尝试计数,按每个配置失败尝试的比例着色;谓词重叠,并且较低的封闭性检查计数可以反映在缺少所需几何图形时跳过的检查。 (c) 任务属性之间的描述性 Spearman 相关性,而不是失败率。定义和适用性统计见附录 K。