MorphoCLIP：细胞绘画图像中扰动匹配的文本监督对比学习

细胞绘画显微镜捕捉细胞在化学或遗传扰动后如何变化。将这些图像与产生它们的扰动联系起来可以使大型成像屏幕更容易搜索和解释，但这项任务仍然很困难，因为生物效应是微妙的，而且技术变化很大。我们推出了 MorphoCLIP，这是一种对比模型，它将细胞绘画图谱与化合物的文本描述、CRISPR 敲除和 ORF 过表达联系起来。该模型保持其视觉和语言主干冻结，仅训练紧凑的跨通道模块和投影层，因此可以在单个消费级 GPU 上进行训练。在保留的 CPJUMP1 数据上，MorphoCLIP 双向搜索：从细胞图像到其扰动描述，以及从描述到匹配细胞图像。在这两种情况下，正确匹配出现在前十名结果中的频率比偶然预期的要高得多。添加复制比对损失使得重复实验的图谱更加一致，尽管这种改进尚未转化为可靠的基因-化合物匹配。基因感知标签和平板校正也没有表现出一致的检索优势。这些发现表明文本监督可以帮助组织化学和遗传细胞绘画数据。然而，将化合物与遗传扰动相匹配仍然是一个悬而未决的问题。