构建更好的激活预言机

激活预言（AO）是解释残余流激活的有前途的方法。然而，当前的 AO 面临着重要的问题，例如幻觉和模糊性。此外，文本倒置混淆使它们难以评估。为此，我们通过四种方式改进了激活预言机（AO）训练制度：在 同策略 部署上进行训练、改进对话数据集、提供更多层以及改进注入公式。能力的提高是有限的，但生活质量的提高是相当可观的。此外，我们还开源了第一个 AO 质量综合评估套件，我们称之为 AObench。总的来说，我们希望我们的工作奠定了基础，有助于在可扩展、端到端可解释性的范式中改进 AO 和其他模型。