论文

T2D-Bench:经多层临床-生活方式知识图谱的2型糖尿病LLM输出证据门控评估

T2D-Bench: Evidence-Gated Evaluation of LLM Outputs for Type 2 Diabetes Using a Multi-Layer Clinical-Lifestyle Knowledge Graph

模型评测基准与评测资源

摘要

大语言模型(LLM)能为2型糖尿病产出临床流畅的建议——却不满足指南约束、或未显式论证生活方式相关的血糖声明。我们提出T2D-Bench——可复现基准与证据门控评估框架——测试LLM输出是否满足显式、图可查的证据要求。T2D-Bench建立在多层临床-生活方式知识图谱上:组合生物医学主干(UMLS、DrugBank、SIDER)、可计算的ADA护理标准规则——以及经机制桥接连接到血糖实验室效应的生活方式知识。跨100个结构化案例(涵盖诊断、用药安全与对抗性生活方式冲突)——基线输出在35%(GPT-4o-mini)与33%(GPT-4o)的案例中未通过基准定义的证据路径检查。证据门检测无支撑的遗漏——并使用受限修订使输出达到验证器级合规。这些结果表明:可计算的证据约束能使糖尿病导向LLM输出中无支撑的临床遗漏变得显式、可度量、可纠正。