PVminerLLM2：通过偏好优化改进患者语音的结构化提取

动机：患者生成的文本包含有关患者生活经历、社会背景和护理参与的关键信息，但在很大程度上仍然是非结构化的，限制了其在以患者为中心的结果研究中的使用。之前的工作介绍了用于结构化提取的 PV-Miner 基准和 PVMinerLLM 模型。然而，仅受监督的 微调 (SFT) 就很难应对罕见的、细粒度的和分布不均匀的错误，特别是在词元关键的结构化输出中。结果：我们提出了 PVminerLLM2，这是一套改进的 LLM，用于结构化患者语音提取，它应用偏好优化来解决超出监督 微调 范围的标记关键错误。我们的方法引入了（i）带有 词元级 门控稳定项的偏好目标，可防止偏好优化下绝对词元可能性的退化，以及（ii）混淆感知偏好对构建，以更好地捕获低分离差异。我们进一步结合词元重要性加权和逆频率重新加权来解决词元不平衡和类别偏差。在多个模型大小中，PVMinerLLM2 始终优于强大的基线，实现了高达 4.43%（代码）、3.50%（子代码）和 1.55%（跨度）的增益，并且优于使用现有偏好优化方法训练的基线 LLM。可用性和实施​​：PVminerLLM2 的补充材料、代码、评估脚本和训练模型可公开获取：https://github.com/Data-Mining-Lab-Yale/PVminerLLM2