论文

把大语言模型锚定于反应知识图谱以进行合成检索

Grounding Large Language Models in Reaction Knowledge Graphs for Synthesis Retrieval

模型评测模型能力评测

摘要

大语言模型(LLM)可以辅助化学中的合成规划,但标准提示方法常产生幻觉或过时建议。我们通过把反应路径检索转化为 Text2Cypher(自然语言到图查询)生成问题,研究 LLM 与反应知识图谱的交互,并定义单步与多步检索任务。我们比较零样本提示与使用静态、随机及基于嵌入的示例选择的一次样本(one-shot)变体,并评估检查表驱动的验证/纠正循环。为评估该框架,我们考虑查询有效性与检索准确率。我们发现,使用对齐示例的一次样本提示持续表现最佳。我们的检查表式自我纠正循环主要在零样本设定下改善可执行性,一旦有好的示例,其额外检索收益有限。我们提供可复现的 Text2Cypher 评估设置,以促进 KG 以知识图谱为依据的 LLM 用于合成规划的进一步工作。代码见 https://github.com/Intelligent-molecular-systems/KG-LLM-Synthesis-Retrieval。

把大语言模型锚定于反应知识图谱以进行合成检索
图A5:单步合成中生成的 Cypher 查询与参考查询的比较。每个子图展示特定查询类型在不同提示设置下 BLEU、METEOR 和 ROUGE-L F1 分数的分布:Zero-shot(ZS)、one-shot 静态(1S-S)、one-shot 随机(1S-D-R)和 one-shot 语义(1S-D-S)。在每个设置内,五个提示版本(以颜色区分)反映了上下文与结构指导程度的递增。