AnyJev技术报告

键入的决策是在一组固定选项中进行的选择，以概率而不是文本形式返回。如今需要类型化决策的系统使用为此目的训练的模型。该报告描述了 AnyJev，它从预训练的指令调整语言模型的一个预填充中读取键入的决策。读出将答案位置处的下一个词元分配限制为选项词元。它有两个缺陷：无论输入如何，模型都会为某些标签以及选项列表中的某些位置分配更高的概率。 AnyJev 在没有梯度步骤和参数变化的情况下校正两者：它从未标记的输入中划分出先前估计的标签，并在选项列表的 K 个循环旋转上平均对数概率。在两个 20 个选项的任务中，轮换将订单翻转率从 0.33 降低到 0.14，从 0.33 降低到 0.18，并提高了这两个任务的 11 个模型中的 11 个模型的准确性。读取每次旋转都需要 K 次预填充。针对未标记状态的全面轮换决策选择的停止规则会削弱这一点。选择一个未标记分割的阈值并在第二个分割上限制其分歧，它在四个细胞中的两个细胞上以经过验证的 0.008 界限读取 18 的 10.6 次旋转；选择并限制在一次分割上，正如我们的服务运行所做的那样，它读取 7.3，并且在 vLLM 上每秒提供的决策数量是 2.2 倍。该代码是开源的。