论文

后训练 配方,不仅仅是模型家族,塑造多智能体 LLM 对话行为

Post-Training Recipe, More Than Model Family, Shapes Multi-Agent LLM Conversational Behavior

模型评测模型行为与机制分析

摘要

多LLM系统使用多种语言模型来审议、判断彼此的输出,或作为代理进行协调。它们的价值取决于模型在给定相同输入时产生明显不同的对话行为。之前的离线研究建议为每个家庭绘制一个模型以实现行为多样性,因为 LLM 在单独评价彼此时更喜欢来自自己家庭的输出。相同系列标签是否可以预测交互式多 LLM 系统(实际部署系统使用的设置)中的行为尚未经过测试。我们使用 940,000 条链的 11 个检查点语料库和 160 万条链的同基 Llama 阶乘进行研究。在我们经过验证的标题指标“对冲”中,推理提炼的 Llama 检查点根据其回复的同基伙伴而变化 18%,比受控子集中的任何跨家庭对冲差距都要大。 Qwen、封闭 API 和运行时检查表明该模式不是孤立的,而修复和挑战分析仍然是探索性的,因为它们的表面线索检测器较弱。总体而言,结果将 后训练 配方确定为多 LLM 面板组成的一流轴,并表明模型系列本身并不能完全代表对话多样性。