论文

“我已经看到这是怎么回事”:通过渐进的条件惊喜来表征多样性

"I've Seen How This Goes": Characterizing Diversity via Progressive Conditional Surprise

模型评测评测方法与指标

摘要

衡量创意输出的多样性对于评估 后训练 模式崩溃、比较解码策略以及量化人工智能和人类写作中的创意行为至关重要。我们提出了一种使用上下文学习来衡量多样性的新方法,其中“Decan”度量 $D_{Ca_n} = C \times a_n$ 是我们评估的工作实例:每个字节的分数读取每个排列的 \emph{单前向传递} 中基本模型 $θ$ 的每个标记对数概率,没有嵌入模型,没有参考语料库,也没有人类标签。这种方法基于信息论,利用语言模型上下文学习来检测任意数量输入之间的广泛相似性,并且无需训练专用模型。相同的管道对人工智能样本和人工编写的响应集进行评分,并将多样性视为(响应、提示、评分模型)的属性。在 Tevet 和 Berant 的以人为本的 McDiv 基准上,$D_{Ca_n}$ 在 McDiv Prompt\_gen 集上达到 OCA 0.846,表现最佳,落后于 Tevet 和 Berant 报告的最强神经基线(SentBERT,0.897)。在 OLMo-2-7B 后训练 管道上,$D_{Ca_n}$ 在基础 $\to$ SFT $\to$ DPO $\to$ RLVR 阶段单调下降,检测创意写作应用程序关心的多样性损失类型。