SupraBench：超分子化学的基准

超分子化学，包括非共价主客体组装的研究，已经推进了各种应用。然而，设计主客体系统仍然很耗时，每个候选对都需要数天的干燥实验室验证。尽管 LLM 已成为在分子结合任务上具有强大性能的快速替代品，但目前还没有基准系统评估 LLM 在基本超分子化学任务（例如结合亲和力预测）中的主客体推理。为此，我们与领域专家合作发布了第一个超分子基准，称为 SupraBench，以评估化学推理中的 LLM。具体来说，我们设计了四个基本任务，即结合亲和力预测、顶部结合剂选择、溶剂识别和主客体描述，以及基于视觉的辅助分子识别任务。我们还发布了 SupraPMC，这是一个精选自欧洲 PMC 的 16M 词元超分子化学文章语料库，以支持对超分子领域的适应。我们对各种开放式和专有的 LLM 进行了基准测试，发现 LLM 在所有任务中都留下了巨大的空间。 SupraPMC 上的域适应预训练可以干净地转移到分布内回归，但会与严格的字母格式输出进行权衡。此外，不同任务系列的难度分布差异很大，揭示了不同的失败模式，表明当前超分子化学推理中的特定差距。我们的源代码和基准数据集可在 https://github.com/Tianyi-Billy-Ma/SupraBench 获取。