基于 LLM 的医疗预测的高效且有效的内部存储器检索

大语言模型 (LLM) 对医疗保健具有重大前景，但其在高风险临床环境中的可靠性常常因幻觉和缺乏详细的医疗背景而受到损害。虽然检索增强生成 (RAG) 可以缓解这些问题，但标准监督管道需要对大量外部知识库进行计算密集型搜索，从而导致高延迟，这对于时间敏感的护理来说是不切实际的。为了解决这个问题，我们引入了知识密钥（K2K），这是一种新颖的框架，用基于密钥的内部知识访问代替外部检索。通过将重要的临床信息直接编码到模型的参数空间中，K2K 能够从内部键值内存中快速检索，而无需推理时间开销。我们通过激活引导探针构建和交叉注意力重新排序进一步提高检索质量。实验结果表明，K2K 在四个基准医疗结果预测数据集上实现了最先进的性能。