论文

转向预算:示例胜过旋钮

The Steering Budget: Examples beat Knobs

上下文与知识上下文工程

摘要

生成模型由旋钮控制——提示、指导尺度、属性标签。随心所欲地转动它,超过一定程度后,它就会停止移动你关心的财产。我们发现上限不是模型的缺点,而是预算,由模型训练之前的训练数据设定:属性的可移动范围一分为二——旋钮可以到达的部分,以及第二个重要部分,只有示例(您想要更多的具体实例)才能到达。第二部分通常要大得多,但并非总是如此,同样的预算预先说明了这一点。到达第二部分需要采取不同的步骤:您无需转动旋钮,而是显示模型示例,这些示例由它已经学到的内容组成,而不是添加到其训练中。对训练数据进行廉价审计可以衡量预算;我们给出了构建涵盖所有内容的示例集的秘诀。这可以买两个旋钮买不到的东西。触及范围:它在整个预算范围内移动房产,而不仅仅是旋钮触及的部分。表现力:它引导你只能通过例子指定的目标——包括那些你无法用语言表达的目标。我们将这些变成一些可证伪的主张,并在两个不相关的领域(图像和晶体结构生成)中验证它们——标记出旋钮就足够了,而只有例子就可以了。