论文
分子性质预测评测区分上下文增益、记忆污染与自报不确定性
Do LLMs Know When They Are Wrong About Molecules? In-Context Property Prediction with Self-Reported Uncertainty
摘要
大型语言模型（LLMs）在许多领域都有使用，但用它们进行分子属性预测仍然很少被探索。在这项工作中，我们评估了 7 个前沿 LLMs 预测分子特性的能力以及来自上下文示例的自我报告的不确定性，并将它们与在相同分子上训练的经典基线进行比较。我们使用 4 个数据集，并逐一检查它们是否被纳入 LLM 训练数据、造成污染：三个是干净的，第四个是 ESOL，被大多数模型记住并用作比较。在干净的数据集上，每个 LLM 都会随着上下文而改进，在 30 个示例中，最准确的一个击败了所有基线。要求投入的推理量对准确性的影响很小。模型自报不确定性与预测误差的排序关系较弱，斯皮尔曼等级相关性高达 0.46，大约与基线不确定性所达到的水平相同。结合不确定性和预测，就亲脂性而言，最佳 LLM 预测中不确定性最低的一半样本在较小的上下文大小下是最准确的；在 BACE 和 antiviral 数据集上，以及亲脂性的大上下文设置下，最佳 LLMs 与最佳基线相当。在受污染的 ESOL 数据集上，LLM 不随上下文规模增大而改善，正如记忆数据集所预期的那样，并且对于能够从记忆中提取其属性值的分子，模型自报的不确定性更小。
