焦点：解耦 LLM 中的专家角色以增强领域专家能力

大语言模型 (LLM) 可以展示不同的角色，激活专家角色已被证明可以提高领域专业知识和任务准确性。然而，现有的角色控制方法经常受到跨域耦合的影响，这可能会导致在医疗保健等高度谨慎的领域出现过度激进的行为，或者在金融交易等风险敏感的领域出现过度保守的行为。为了解决这个问题，我们提出FOCUS（\textbf{\underline{F}}使用\textbf{\underline{O}}正交\textbf{\underline{C}}对\textbf{\underline{U}}n耦合角色\textbf{\underline{S}}进行微调）。 FOCUS首先从LLM中自动提取专家角色向量，然后应用正交分解来解耦特定领域​​的专家角色，最后引入专家门控模块来根据任务上下文自适应地控制角色激活。通过两阶段训练策略和门控选择正则化器，该模型学习为单域和跨域任务激活适当的角色。金融、法律、医疗和跨领域基准测试表明，FOCUS 提高了任务准确性，并且优于现有的角色控制方法。我们的代码可在 \href{https://anonymous.4open.science/r/openpersona-48F4}{this url} 获取。