Gacha Decoding：通过指令遵循激发多样化生成

我们引入了 Gacha Decoding，这是一种推理时方法，用于引发随模型能力扩展的不同语言模型生成。在开放式领域（真实场景聊天、创意写作、图像生成规划和蛋白质设计）中，Gacha Decoding 在同等质量下显着优于现有的生成多样性方法（Vendi指标最高达到次优既有方法的2.4倍），以少超过一个数量级的样本（减少至约1/11） 达到相同数量的高质量模式，并发现其他方法无法呈现的新模式。我们的主要见解是将多样性视为指令遵循问题：我们不依赖 LM 的词元熵，而是将其指令遵循能力与外部 RNG 工具的随机性相结合，以可扩展地识别和实现响应空间的不同模式。这种“用骰子进行规划”的方法使 Gacha 能够扭转长期以来观察到的多样性和模型能力之间的紧张关系。随着底层 LM 成为更好的指令遵循者，Gacha 解码下的多样性不断提高——即使其词元熵和先前方法下的多样性下降。总之，我们的结果强调了指令遵循，而不是单独的词元熵，可以推动生成多样性。