离散扩散语言模型是 无需训练 多标签分类器

我们提出了 dLLM-SetScore，这是一种 无需训练 方法，它使用离散掩蔽扩散语言模型进行多标签文本分类。对于每个候选标签，它会询问一个简短的是/否问题，并比较一个屏蔽位置处两个答案标记的概率。该方法不使用特定于任务的 微调 或文本蕴涵数据集的训练； 200 个示例标记的验证切片选择阈值、温度和提示措辞。我们首先表明，将所有标签放在一个提示中会产生强烈的槽位置不对称性：第一个答案槽在 GoEmotions 示例的 $99.4\%$ 和Reuters 示例的 $100\%$ 上预测为正。每个标签评分将每个标签放在相同的句法位置，使预测对于标签顺序不变并避免这种伪影。我们根据 NLI 模型、自回归 LLM、SetFit 和监督分类器在六个数据集上评估 LLaDA-8B 和 Dream-7B。在两个扩散家族共享的五个数据集上，Instruct 检查点在 10 次比较中的 9 次中改善了宏观 F1，在 10 次比较中的 8 次中改善了微观 F1，尽管这些比较并未找出原因。在我们的协议中，LLaDA-Instruct 记录了Reuters 和ECtHR 指标的最高无需训练 值。我们证明了排列不变性，描述了加权汉明损失下的阈值决策，并得出了召回率和 F1 的入围上限。探索性局部联合集细化步骤降低了有偏和无偏初始化的 F1，并保留为负结果。