超越模式崩溃：通过生成流网络生成多样化的综合专家对话

高质量的合成数据对于自适应人工智能应用程序的大语言模型后期训练至关重要，这些数据代表了对话中不同的专家策略和决策。直接提示大语言模型或根据最终使用场景调整它们会产生低多样性数据，这些数据会崩溃到主导模式。我们提出了一种使用生成流网络（GFlowNets）生成各种高质量合成数据的方法。我们表明，使用关键交互特征（例如，混乱事件动态、脚手架指令平衡）的高斯混合密度来训练 GFlowNet 来生成潜在对话结构，可以根据专家策略在训练数据中的流行程度进行采样。在辅导和情感支持对话这两个结构不同的领域，我们基于 GFlow 的合成数据生成方法比强化学习和端到端 LLM 基线在保真度、模式覆盖范围和真实性之间提供了更好的平衡，且无需复制训练数据。通过对三个下游结果预测任务进行评估，在合成 GFlowNet 生成的对话上训练的分类器提供了比竞争性合成基线更强的训练信号。