论文

iLoRA:用于微生物组诊断的具有潜在交互图的贝叶斯低秩适应

iLoRA: Bayesian Low-Rank Adaptation with Latent Interaction Graphs for Microbiome Diagnosis

模型训练参数高效训练

摘要

参数高效的适应使 LLM 对于领域预测来说非常实用,但标准 LoRA 仍然依赖于静态低秩更新,并且不会暴露通常驱动科学标签的潜在相互作用。我们介绍 iLoRA。据我们所知,它是第一个贝叶斯图条件 LoRA 框架。它从输入推断出潜在的交互图,并使用它来生成输入条件的 LoRA 更新。因此,iLoRA 共同学习预测和潜在交互结构,而不是仅事后训练预测器并应用交互分析。我们将这一想法实例化为微生物组诊断,其中疾病状态可能取决于物种水平的丰度和微生物之间的串扰,并在两种互补的环境中对其进行评估:带有人工注释图表的交互式 QA(测试潜在结构恢复)和多队列 IBD 诊断(测试生物医学效用)。在这两种设置中,iLoRA 都改进了强大的 LoRA 和贝叶斯适应基线,恢复与人类注释和队列水平微生物组关联一致的图形,并以适度的图形分支开销提供校准的不确定性。