论文

可审计的大语言模型辅助医疗账单验证的决策基础合同:确定性规则、逐字证据和失败关闭弃权

A decision-basis contract for auditable LLM-assisted medical billing verification: deterministic rules, verbatim evidence, and fail-closed abstention

模型评测评测方法与指标

摘要

这项工作提出了基于决策基础合同的可审计大语言模型辅助医疗账单验证的概念证明。该合同将版本化费用目录规则的确定性检查与基于 LLM 的自由文本文档评估分开。确定性层解析适用的目录版本并检查代码可用性、数量限制和排除。语义层将每个声明的项目分类为支持、矛盾或缺少所需信息。支持和反对都需要逐字证据的范围;不可用的规则背景、不成功的评估或缺少所需的证据会阻碍通过失败关闭弃权获得支持。我们在综合目录上评估了四个本地运行的开放权重模型,并根据合同评估了 36 个精选案例、没有明确文档要求的消融以及端到端基线。不同模型的结果一致性各不相同,并且与基线相比没有表现出一致的优势。明确的文档要求改进了对所有四个模型缺失信息的识别。证据门还暴露了正确的原始判断缺乏有效证据而转化为不完整决策依据条目的案例。结果表明,明确的决策记录如何使规则发现、文档判断和弃权原因变得可检查。需要对真实目录、独立注释的文档以及人工审阅者进行评估来评估实用价值。