RadOT-Eval：用于放射学报告评估的可审计结构化证据传输

自动评估对于高风险文本生成至关重要，其中错误通常涉及遗漏的发现、幻觉内容、极性反转、位置变化、不确定性不匹配和时间比较错误，而不仅仅是低表面相似性。放射学报告生成提供了一个具有挑战性的测试用例，因为生成的报告必须保留跨来源的结构化临床证据。我们提出了 RadOT-Eval，这是一种可解释的结构化证据最佳传输框架，用于放射学报告生成的离线审核。 RadOT-Eval 将参考报告和候选报告分解为属性结构的临床证据单元，使用熵正则化最佳传输来对齐相应的证据，并使用单调风险模型中具有临床意义的侧通道差异来预测错误负担。所有传输、特征和读数选择均使用 ReXVal 数据集进行选择，并在独立的 RadEvalX 数据集上评估冻结系统。 RadOT-Eval 与总的、临床上显着的和临床上不显着的注释错误负担分别实现了 0.715、0.548 和 0.399 的 Spearman 相关性，产生比标准评估指标和基于开源 大语言模型 (LLM) 的评估器 GREEN-radllama2-7B 更高的点估计。在 ReXErr-v1 上的冻结辅助损坏敏感性压力测试中，RadOT-Eval 实现了 0.768 AUROC 和 0.990 损坏大于干净的配对获胜率。这些结果表明，结构化证据传输为仅 ReXVal 模型选择和冻结 RadEvalX 测试下生成的高风险临床文本提供了可审核的、面向排名的评估工具。