采取行动还是升级？使用语言模型评估自动化中的升级行为

有效的自动化取决于决定何时采取行动以及何时升级。我们将其建模为不确定性下的决策：LLM 形成预测，估计其正确的概率，并比较行动和升级的预期成本。在记录的人类决策的五个领域（需求预测、内容推荐、内容审核、贷款审批和自动驾驶）以及多个模型系列中使用该框架，我们发现用于权衡这些成本的隐式阈值模型存在显着差异。这些阈值差异很大，并且不能通过架构或规模来预测，而自我估计会以特定于模型的方式被错误校准。然后，我们通过改变成本比率、提供准确性信号和训练模型来遵循所需的升级规则来测试针对此决策过程的干预措施。提示主要有助于推理模型。针对思想链目标的 SFT 会产生最稳健的策略，这些策略可以跨数据集、成本比率、提示框架和保留域进行推广。这些结果表明，升级行为是模型特定的属性，应在部署之前进行表征，并且训练模型的稳健一致性有助于明确推理不确定性和决策成本。