PolyReal：现实世界聚合物科学工作流程的基准

多模态 大语言模型 (MLLM) 在一般领域表现出色，但在复杂的现实世界科学方面表现不佳。我们认为，聚合物科学是一个跨越化学、物理、生物学和工程学的跨学科领域，由于其多样化的多模态数据，是一个理想的高风险测试平台。然而，与聚合物科学相关的现有基准在很大程度上忽视了现实世界的工作流程，限制了它们的实用性，并且未能在整个、以实践为基础的实验生命周期中系统地评估 MLLM。我们推出 PolyReal，这是一种基于现实科学实践的新型多模式基准，用于评估聚合物实验整个生命周期中的 MLLM。它涵盖五项关键能力：（1）基础知识应用； (2)实验室安全分析； (3)实验机理推理； (4)原始数据提取； (5)性能和应用探索。我们对 PolyReal 上领先的 MLLM 的评估揭示了能力不平衡。虽然模型在知识密集型推理（例如实验机制推理）上表现良好，但在基于实践的任务（例如实验室安全分析和原始数据提取）上表现却急剧下降。这暴露了抽象科学知识与其实际的、依赖于上下文的应用之间的严重差距，表明这些现实世界的任务对于 MLLM 来说仍然具有挑战性。因此，PolyReal 有助于解决这一评估差距，并为评估现实世界科学工作流程中的人工智能系统提供实用基准。