大语言模型 中概率采样的双种子比较相互去偏

尽管大语言模型（LLM）在推理和决策方面表现出卓越的能力，但高保真概率采样仍然是一个持续的挑战。生成随机变量时，LLM 始终表现出扭曲目标概率分布的系统偏差。当前的方法通常依赖于单个自生成的种子，它继承了特定于模型的偏差。为了克服这个漏洞，我们引入了双种子比较（DSC），这是一种透明的、免工具的协议，它利用两个独立的 LLM 生成的种子来消除偏见。 DSC 比较两个种子的字符级序数值以构造位序列，将该序列转换并归一化为伪均匀变量，然后通过逆累积分布函数 (CDF) 将变量映射到目标分布。经验结果表明，DSC 在 96% 的评估设置中明显优于现有方法。除了直接采样之外，基于 DSC 比较运算符的任务适应变体还改进了 MCQ 生成和属性约束的文本到图像提示中的分布控制。