论文
SERIAL-7：可执行核验七种表示下的结构化生成与语义保真
SERIAL-7: Deriving, Realizing, and Preserving Machine-Verifiable Outputs Across Representations
摘要
大型语言模型越来越多地生成供程序和下游系统使用的结构化输出，其中语义正确性本身并不能保证可靠的执行。我们推出了 SERIAL-7，这是一个韩语-英语基准测试，围绕可执行验证框架构建，用于跨七种表示形式的机器可验证生成。 SERIAL-7 使用 177 个经过验证的规范工件，将语义推导 (Derive)、约束工件生成 (Realize) 和跨表示保真 (Preserve) 分开。它的 43 个原子表示约束与对格式、结构和特定于任务的语义的可执行检查配对，从而实现从表示合规性到完整工件有效性的逐步更严格的验证。在十个模型中，REALIZE-L3 HSR 的范围从 42.0% 到 93.9%，而完整合规性则暴露了除了正确的最终答案和有效表示之外的其他工件级故障。这些结果表明，可靠的结构化生成需要对如何跨表示生成并保持工件内容进行明确的、可执行的验证。
