角色提示何时真正有用？LLM专家角色注入的检索与度量分析

角色提示（persona prompting）被广泛用于引导大语言模型，但其实际价值仍不明确。先前工作常用聚合分数评估角色提示，难以判断专家角色提示究竟是持续提升回答质量，还是只是在不同质量维度上改变回答。我们通过对四种提示条件在1,140个开放式问题（覆盖38个专家角色与六个领域）上的受控比较来研究这一问题：无角色提示、通用领域专家提示、基于嵌入的角色检索，以及结合嵌入搜索与基于LLM的角色选择的混合检索方法。聚合结果显示各条件之间总体差异很小。然而指标层面的分析揭示了被聚合平均掩盖的一致权衡：角色提示系统性地提升专业深度却降低清晰度。这些效应高度依赖条件，而非普遍成立。角色提示在咨询类问题以及医学、心理学等领域表现最佳，在这些场景中结构化的专家框定与风险沟通本身就有价值。相反，基线提示在金融、法律、科学与技术领域的概念性和解释性问题上表现更好，在这些场景中简洁通俗的解释更为重要。我们进一步表明，混合检索显著优于仅用嵌入的角色选择，但更好的角色检索并不能消除专业深度与清晰度之间更广泛的权衡。总体而言，我们的发现表明角色提示主要重塑回答特征而非普遍提升能力，并且需要多指标评估才能理解其效果。