Text2DSL 的上下文感知 蒸馏 和消融

我们扩展了之前关于 Text2DSL 从自然语言描述沿两个互补轴自动生成领域特定语言 (DSL) 代码的工作。首先，我们用上下文感知的 蒸馏 替换仅提示的合成生成，其中教师 大语言模型 (DeepSeek-V4-Flash) 在显式定义的结构化上下文下运行，该上下文包括 BNF 语法、API 规范和封闭标识符词汇表；生成的语料库通过两层管道进行验证，该管道结合了通过 esprima 进行的 AST 验证以及通过生产 polkitd 守护进程和 pkcheck 客户端进行的运行时接受。这将经过验证的 PolkitBench 语料库从 4,204 个自然语言到 Polkit 规则对扩展为 100.0% AST 有效性和 99.7% 运行时通过率。其次，我们对结构化上下文进行了按组件因子消融，这被确定为前期研究中的未来工作：使用新语料库在 GigaChat-10B-A1.8B 上评估八个条件 C0-C7。出现了三个发现。 (i) 新的更难的语料库使基线模式崩溃（语法有效 97.6% -> 58.5%，综合得分 0.482 -> 0.252），而上下文增强模式仅略有下降（语法 98.6% -> 97.4%，综合 0.801 -> 0.750），这证实了结构化上下文不是表面改进，而是承重机构。 (ii) 最好的绝对条件是所有指标的完整上下文 C7，而最强的部分条件（C5 = BNF + 词汇表，C6 = API + 词汇表）都包含词汇表。 (iii) Shapley 式分解将最大的语义质量影响分配给词汇（组合 +0.198），将最大的结构有效性影响分配给 API（+24.7 pp）和 BNF（+22.3 pp）。