BULLPEN：联合回答文本与正确性为LLM构建低成本行为画像

在数十万个可用的大型语言模型 (LLMs) 中进行选择需要彻底了解每个候选模型的属性。实际上，每个属性都是通过自己的基准套件来衡量的，因此在许多属性上分析模型意味着需要为许多单独的评估付费。为了解决这个问题，模型嵌入将每个模型压缩为固定长度的向量，从中可以预测许多属性。现有方法（例如 EmbedLLM）根据正确性模式和问题特征构建这些向量，并且通常需要大型探针题集才能完成此操作。然而，在选择模型时，许多重要的行为（例如其冗长性、安全性和风格）更多地体现在它的回答方式上，而不是它是否正确。我们引入了 BULLPEN（通过画像编码理解大语言模型行为），这是一个以三种方式扩展 EmbedLLM 的框架。首先，BULLPEN 组织了先前工作使用的下游任务，并添加了我们基于行为、风格和出处构建的 20 个任务基准。其次，它是第一个将模型自己的答案文本及其正确性和问题文本结合起来读取的框架。第三，它对来自数百个问题的模型进行编码，而不是完整的 24,118 个问题池。在 260 个开放权重模型中，我们的答案文本编码器在新任务上的得分为 0.48 +/- 0.10，而之前最好的编码器的得分为 0.35 +/- 0.10。我们读取答案文本的编码器仅从 400 个问题中保留了至少 91% 的完整题池下的能力（整个问题池的推理计算的 1.3%），而仅正确性基线则从同样的 400 个问题中保留了 83%的能力。由于这些嵌入仅需要模型输出，因此它们支持行为审计和低成本分析，并且可以扩展到仅通过API访问的模型。代码和数据：https://github.com/wcquesera/bullpen