论文

CircuitSynth:可靠的综合数据生成

CircuitSynth: Reliable Synthetic Data Generation

模型训练合成数据

摘要

高保真合成数据的生成是现代机器学习的基石,但 大语言模型 (LLM) 在执行结构化生成任务时经常遭受幻觉、逻辑不一致和模式崩溃的困扰。现有的方法,例如提示或检索增强生成,缺乏平衡语言表达性与有效性和覆盖范围的正式保证的机制。为了解决这个问题,我们提出了 CircuitSynth,一种新颖的神经符号框架,它将语义推理与表面实现分离。通过将教师 LLM 的推理能力提炼为概率句子决策图 (PSDD),CircuitSynth 创建了一个易于处理的语义先验,在结构上强制执行硬逻辑约束。此外,我们引入了凸优化机制来严格满足软分配目标。跨不同基准的实证评估表明,即使在无约束基线失败的复杂逻辑难题中,CircuitSynth 也能实现 100% 的模式有效性 (12.4%),同时在稀有组合覆盖范围中显着优于最先进的方法。