隐形彩票：微妙的提示如何引导 LLM 代码生成中的算法选择

大语言模型 (LLM) 现在生成大量生产代码，通常用于具有多个有效算法解决方案的任务。即使所有输出都通过了相同的测试，附带的提示线索（即任务规范之外的上下文单词或元数据）也可以引导模型选择哪种算法。提示灵敏度作为提高输出质量的工具已得到充分研究。这里，输出策略是指固定正确性下的算法选择。我们将算法转向定义为算法族分布中由提示引起的变化，并在 11 个任务、19 个提示类型（18 个通道加上记忆化语义与表面消融，在改变版式和标点符号的同时保留含义）和 15 种模型配置中运行 46,535 个受控实验。我们发现算法族分布发生了巨大的系统性变化（高达 100 pp），这在很大程度上与提示语义一致，包括在速率限制等应用任务中。直接算法命名是我们测试过的最可靠的缓解措施。因此，意外上下文在性能、安全性和可维护性方面创造了“隐形彩票”。