Health-SCORE：迈向可扩展评分量表以改进Health-LLM

摘要

评分量表对评估开放式LLM回答至关重要，尤其是在医疗健康这类安全关键领域。然而，创建高质量、领域特定的量表通常需要大量专家时间与开发成本，使基于量表的评估和训练难以规模化。在本工作中，我们提出Health-SCORE，一个可泛化、可扩展的基于量表的训练与评估框架，在不牺牲性能的情况下大幅降低量表开发成本。我们表明Health-SCORE提供独立评估之外的两项实用收益：它可作为结构化奖励信号，引导具有安全感知监督的强化学习；也可直接纳入提示中，通过上下文学习提升回答质量。在多个开放式医疗任务上，Health-SCORE取得与人工创建量表相当的评估质量，同时显著降低开发投入，使基于量表的评估与训练更具可扩展性。

Health-SCORE：迈向可扩展评分量表以改进Health-LLM — 图3：Health-SCORE rubric 选择流程：给定用户查询，基于 LLM 的选择器为每个 Health-SCORE rubric 就上下文相关性打分。得分超过阈值的 rubric 被选中。随后，自适应的 Health-SCORE rubric 将被加入系统提示，并在 RL 后训练期间用作训练奖励。