使用 大语言模型 进行临床诊断知识图训练中的手术对齐

生物医学知识图（KG）提供结构化的医学知识，可以在临床诊断应用中为 大语言模型（LLM）推理奠定基础，但如何将 KG 信号集成到 LLM 中仍然是一个悬而未决的问题。我们提出了一项系统研究，涵盖五个 KG 任务公式、三个训练范式、两个 KG 和三个基础 LLM。在任务级别，所有范式都比未微调的基线有所改进，但具有可比较的领域内准确性的方法显示出截然不同的知识转移行为。我们引入梯度干预密度（GID）和梯度失真（GD）来衡量优化器修改预训练模型的范围。 GID 和 GD 一起揭示了一个明显的分歧：KL 正则化下的 KG 判断训练产生稀疏的局部更新（我们称之为外科手术对齐的机制），而特定于任务的 SFT 产生密集的更新。受控消融表明，目标和 KL 独立地对稀疏性做出贡献，并且产生稀疏更新的范式也提高了推理质量，即使它们的域内精度低于特定于任务的 SFT。因此，评估 KG-LLM 集成需要通过优化几何诊断来补充准确性。我们的实现可以在 https://github.com/LARK-NLP-Lab/Surgical-Alignment 找到。