将学习问题编译成语言模型的适应程序

模型适应通常由固定的配方控制，尽管不同的更新程序可以产生截然不同的行为结果。我们引入了适应编译，它重新构建了模型应该在何处、如何以及在多大程度上适应作为联合预测和决策问题。编译器不是为每个学习片段重新搜索候选程序，而是从先前的适应中学习，预测候选程序的向量值反事实响应面（它们对获取、转移、有界性和保存的预期影响），并在适应开始之前选择一个程序。由于这种预测的几何结构捕获了多种行为结果，而不是单个获胜者或标量分数，因此它可以在不同的下游优先级下重用，而无需重新训练。在五种学习类型中，首选课程在不同阶段之间存在显着差异，并且这种差异可以通过预适应信息来预测。在 Llama-3.1-8B 上，编译器选择的程序可以进行详尽的搜索，同时优于全局和特定于目标的默认值。 Gemma-2-9B 上的复制保留了程序异质性和选择余量，但表明利用此余量需要在偏离强默认值时考虑不确定性。总之，这些结果表明，适应搜索可以在相关的学习问题上进行摊销，将先前的适应经验转变为决定未来学习应如何发生的基础。