论文

隐喻引发的算法引导:LLM 代码生成中的跨域程序传输

Metaphor-Induced Algorithmic Steering: Cross-Domain Procedural Transfer in LLM Code Generation

模型评测模型行为与机制分析

摘要

大语言模型 受益于自然语言的元素,例如训练数据和推理输入中的隐喻和类比,以实现跨不同领域的通用性。然而,当隐喻表达式隐式地将不适当的程序模式转移到新任务中时,这些语言元素也可能导致不良行为。在本文中,我们表明隐喻指令可以引发程序机制的类比转移,从而将代码生成模型转向效率较低的算法。我们将这种隐喻引发的效果称为隐喻算法引导:一种在其源域内良性且合理的技能,将抽象的程序模式转移到编程任务中,使模型有利于穷举搜索、全面扫描或重复重建,而无需明确提及目标算法。更广泛地说,这表明代码生成模型可以将适合任务后台域的过程带入任务的编程问题,从而导致不需要的结果。为了研究这种现象,我们开发了 MASC(代码生成隐喻算法指导),这是一个迭代隐喻和细化良性技能的框架,以引出低效率的代码,同时保持良性和任务相关性。除了行为评估之外,我们还研究这种现象是否可以检测到并机械地反映在模型表示中。我们的方法实现了隐喻技能的高检测率和低效的实现。我们还发现隐喻技能会导致隐藏状态向低效率程序行为原型的转变。这些结果表明,隐喻算法控制是通过与隐喻源场景相关的程序模式的转移来进行的,而不是仅仅通过表面隐喻语言来进行。