SANE 模式感知的生物数据自然语言评估

高通量显微镜生成大型结构化数据集，捕获细胞对药理扰动的反应，但访问这些数据集通常需要 SQL 专业知识。 大语言模型 提供了一种自然语言的替代方案，但它们的幻觉倾向引起了人们对结果可靠性的担忧。我们提出了 SANE 模式感知自然语言评估，这是一种用于特定领域文本到 SQL 评估的新颖范式：基于模式、自动生成的基准与真实且特定的实验结构相关。 SANE 使评估更具可扩展性、系统性和可重复性。使用 SANE，我们评估了一些 大语言模型，并表明，在具有结构化提示和护栏的约束模式下，无需任何 模型训练 或 微调 即可实现准确的查询生成。大多数失败源于不明确或未指定的输入，并表现为过于谨慎的澄清请求或对应首先消除歧义的查询的回答，而不是错误的 SQL 生成。这些结果表明，当与模式感知提示相结合时，少量 大语言模型 可以在明确定义的域中提供可靠的数据库访问。