论文
ProMedical：通过显式注入实现医学LLM对齐的分层细粒度标准建模
ProMedical: Hierarchical Fine-Grained Criteria Modeling for Medical LLM Alignment via Explicit Injection
摘要
将大语言模型（LLM）与高风险医学标准对齐仍然是一项重大挑战，其主要原因在于粗粒度偏好信号与临床规程复杂、多维特性之间的失谐。为弥合这一差距，我们提出ProMedical，一个以细粒度临床标准为基础的统一对齐框架。我们首先构建ProMedical-Preference-50k数据集，它由人在回路的管线生成，用由医生制定的严谨评分细则（rubric）增强医学指令。利用该语料，我们提出显式标准注入（Explicit Criteria Injection）范式来训练多维奖励模型。与传统标量奖励模型不同，我们的方法将安全约束与通用能力显式解耦，从而在强化学习过程中提供精确引导。为严格验证该框架，我们建立了ProMedical-Bench，一个由双盲专家裁定锚定的留出评估套件。实证评估表明，经由ProMedical-RM引导的GRPO优化Qwen3-8B基座模型带来显著收益：整体准确率提升22.3%，安全合规性提升21.7%，足以比肩专有前沿模型。此外，对齐后的策略能够稳健地泛化到外部基准，在UltraMedical上表现出与最先进模型相当的性能。我们公开发布数据集、奖励模型和基准，以促进安全感知医学对齐的可复现研究。
