论文

用于药物毒性预测的提示词工程分析

Analysis of Prompt Engineering for Drug Toxicity Prediction

模型评测鲁棒性、公平性与可信度评测

摘要

英国的临床试验费用高达130万英镑,药物失败率约为90%。毒性是药物失败的一个主要因素。测试需要大量时间和成本。近年来,人们越来越多地探索使用人工智能来帮助预测药物毒性,并广泛使用大语言模型(LLM)。然而,当对提示进行微小更改时,LLM可能会表现出相当大的变化,这引起了人们对其对提示工程敏感性的担忧。提示工程用于优化提供给LLM的提示以生成所需的输出。本文提出了一种用于药物毒性预测的即时工程分析方法。本文的目的是研究提示措辞对于药物毒性预测的重要性。LLM被提示在预测药物毒性时识别重要的化学性质。构建提示以进行调查;工作角色、提示结构和规则解释。然后,LLM被用来生成数据集,使用初始提示中识别出的特征,然后将其传递给机器学习算法。实验表明,LLM中发生的自然变化超过了提示的任何微调。然而,当使用化学信息学代码而不是使用 LLM 生成的值来提取特征时,模型性能有了显着的提高。所提出的分析方法适用于生物信息学不同领域的各种提示类型。

用于药物毒性预测的提示词工程分析:论文配图
图1:所有快速大语言模型组合中最经常发现的化学特征。