学习语言模型的错误模式

当为具有特定有效性约束的域生成输出时（例如，程序应该编译），LLM 通常会以少数集中方式失败：例如，在生成 TypeScript 时使用 Python 函数名称。我们观察到，这些错误模式可以使用少量可以在实践中学习的约束来表示。我们提出\emph{前缀过滤器}（每个域和LLM符号函数）作为捕获错误模式的对象，Palla作为在实践中有效学习前缀过滤器的算法，并实现Palla。 Palla 学习到的前缀过滤器 i) 帮助我们定量分析 LLM 的错误模式，ii) 可用于通过约束采样算法来约束模型的输出。例如，Palla 将 TypeScript 生成时 Qwen2.5-1.5B 的编译率提高了 60% 以上，使 Qwen2.5-1.5B 能够不受限制地实现与 Llama3.1-8B 类似的性能。