投影解码：迈向语义感知 LLM 一代

大语言模型 (LLM) 越来越多地用于在许多软件工程 (SE) 任务中生成软件工件，但确保这些工件的语义有效性仍然是一个基本挑战。现有的受限解码技术可以强制执行语法正确性，并且在某些情况下可以强制执行特定的语义规则，但缺乏将 LLM 生成的文本与 SE 中语义验证所需的推理联系起来的通用表示。在本文中，我们提出了投影解码，这是一种新颖的概念框架，通过在文本旁边维护部分图模型作为整个生成过程中的主要工件表示，将领域语义直接集成到生成过程中。这种抽象表示通过显式捕获不确定性并本地支持错误检测来实现增量语义验证，同时指导生成具有可证明保证的语义有效输出。我们提出了程序生成任务的初步结果，证明了这种方法在提高 LLM 生成的工件的语义有效性方面的潜力。我们还讨论了投影解码如何通过 LLM 在各种 SE 活动中实现可验证的自动化。