ColdDDI：评估冷启动药物相互作用预测中的知识利用
ColdDDI: Evaluating Knowledge Utilization in Cold-Start Drug-Drug Interaction Prediction
摘要
冷启动药物间相互作用 (DDI) 预测测试模型是否可以识别没有训练时间相互作用历史的药物的临床显着相互作用。现有的基准大多报告总体边缘预测分数，而没有回答一个关键的评估问题：当模型收到分子、文本或知识图（KG）证据时，它们实际上是否使用了药理学上支持相互作用的证据？我们引入了 ColdDDI，这是一个基于 DrugBank 5.1.13 构建的可重构诊断基准，包含 1,900 个已批准的小分子药物和 565,731 个阳性 DDI 对。 ColdDDI 评估与零种、一种或两种未见药物的配对。它还通过是否改变药物暴露或药物效应，以及生物医学知识图是否包含可以合理介导相互作用的共享酶、转运蛋白或目标来注释每次相互作用。这些注释将证据可用性与预测依赖性分开。我们评估了 8 种传统 DDI 方法和 13 种LLM；对于开放权重LLM，我们测试了五种提示模式，并使用掩蔽、药物替代和通道敏感性指标来衡量探针知识利用率。 ColdDDI 揭示了，在两种药物都看不见的最困难的分裂中，主要的性能差异是中介的可用性。经过微调的 1B LLM可以恢复 89-93% 与共享酶、转运蛋白或靶标的相互作用，但在没有此类介质的情况下只能恢复 40-62%。更重要的是，KG提供的证据并不总是被使用；当共享中介被屏蔽或破坏时，几个 KG 增强的基线变化很小，而微调的LLM对此干预反应强烈。因此，ColdDDI 评估知识利用率，而不仅仅是知识访问，显示冷启动 DDI 模型在哪里依赖于机械证据，以及在哪里尽管收到了证据但仍然失败。代码可在 https://github.com/0217ljh/ColdDDI-NeurIPS2026. 获取