压缩模型在模拟电路分析中的复杂度视界

摘要

将大语言模型（LLM）部署到电路分析等专业工程领域，常面临推理精度与计算效率的权衡。传统评估方法把模型性能当作平坦指标，无视工程知识的层次结构。我们提出性能感知的模型压缩策略，利用先修关系图（prerequisite graph）为电路分析任务优化模型选择。通过把电子设计概念组织为有向无环图（DAG），可以确定LLM压缩变体各档位的具体复杂度视界。我们的框架引入两条流水线：生成先修关系数据集的智能体流水线，以及动态把查询在压缩变体谱系上级联的战略评估引擎。该方法可以依据模型在电路分析中的概念知识边界，选出最小的压缩模型。模拟电子数据集上的实验表明，先修关系图给出了模型压缩相对于电路分析复杂度的细粒度地图。（源码与Demo见GitHub与Hugging Face Space）

压缩模型在模拟电路分析中的复杂度视界：论文配图 — 图 1：依赖图可视化，表示模拟电子数据集中的评估流程、模型转换和复杂性范围。 4 个问题（以红色标记）未正确回答，其中 1 个问题是最简单的（因压缩程度最高的变体 gemma3:270m 而失败）。当路径故障阈值为 1 时，系统会自动转换到列表中的下一个模型变体 gemma3:1b，以解决层次结构中的后续问题。随着图深度的增加，最大的模型变体 gemma3:4b 被用于更高级的主题。然而，一旦它未能通过一个问题，图表就会被修剪，跳过其他 2 个更复杂的问题，并假设该变体无法回答这些问题。