软件工程LLM中结构化输出控制的实证研究

软件工程中 LLM 生成的输出很少单独存在。它们必须插入工具链、API 和数据管道，这些工具链、API 和数据管道强制实施严格的、通常是特定于组织的结构合同。从消费系统的角度来看，违反预期格式的语义正确输出与错误答案无法区分，这使得结构保真度成为实践中部署 LLM 的操作先决条件。然而，当前的模型通常会产生语法无效或结构不合规的输出。与编码器不同，自回归解码器生成具有局部而不是全局焦点的逐个文本标记，每当目标格式偏离熟悉的训练分布时，就会放大结构的脆弱性。我们对四个代表性 SE 任务的结构可靠性进行了系统评估，将失败分为语法错误、结构错误和语义错误。我们对针对解码器的缓解方法进行了基准测试：语法约束解码、基于正则表达式的验证和严格的模板驱动控制（模板词元匹配生成，TTMG）以隔离这些故障的根源。 TTMG 几乎消除了语法错误，但仍然存在大量结构和语义错误，这表明核心瓶颈不在于语法格式化。详细的案例研究进一步说明了残余错误如何在下游工作流程中级联。我们的研究结果表明，当前的结构执行工具是必要的，但还不够，并强调需要共同确保 LLM 驱动的工作流程中的结构保真度和语义正确性的方法。