论文

CodeCytos:通过代码增强代理动作空间进行人工智能辅助空间分子成像分析

CodeCytos: AI-assisted spatial molecular imaging analysis via code-augmented agent action space

智能体系统Agent 工具调用

摘要

传统的组织图像分析软件提供细胞分析的基础功能,包括分割、基本形态特征提取和空间组织分析。然而,这些工具通常需要手动干预,并且无法与代码驱动的自动化很好地集成,从而限制了复杂空间组织研究的效率和可扩展性。此外,它们为自定义分析提供的灵活性有限,因为它们通常仅支持一组固定的预先实现的空间单元特征。为了解决这些限制,我们提出了 CodeCytos,这是一种基于编码的推理代理框架,可实现与空间分子成像数据的动态、可编程交互,以提高自动化和定制化。 CodeCytos 旨在简化对自定义空间细胞特征的探索并适应不同的研究需求。我们通过对来自不同组织类型的四个专家策划的数据集进行案例研究来证明其实用性:额叶皮层、非小细胞肺癌、胰腺和扁桃体。我们在现实的最小提示设置下评估 CodeCytos,其中生物科学家提出简单的问题,无需特定任务的说明或有关空间细胞分析的上下文信息,并对具有强大编码能力的多个 LLM 主干进行基准测试。我们进一步表明,结合定制的、与领域无关的少数镜头上下文编码推理示例(空间分析领域之外的随机采样演示)可以显着提高性能,而不需要昂贵的、专家制作的域内演示。总体而言,CodeCytos 优于基线方法,突显了代码作用代理在协助空间分子成像中的自定义特征探索和加速生物标志物发现方面的潜力。