检索增强视觉提示：指导双光子成像中的基础模型

双光子钙成像为基础模型提出了一个具有挑战性的环境：图像外观在记录和实验条件下差异很大，注释很少，并且通常需要快速适应。我们不是通过 微调 调整模型权重，而是询问是否可以通过将外部视觉记忆直接注入其输入来在推理时指导基础模型。我们使用 SAM 3 实现了这一想法，并引入了检索增强视觉提示 (RAVP)，这是一个框架，其中每个目标图块都使用检索到的带注释示例进行增强，该示例的边界框用作概念提示。 RAVP 将检索转变为一种视觉提示形式，并仅通过输入设计即可实现适应。我们研究了多种样本选择策略，包括荧光引导启发式​​方法和轻量级召回预测器，该预测器经过训练以估计哪个样本对目标图块信息最丰富。艾伦大脑天文台的实验表明，样本增强推理持续增强了零样本神经元检测和实例分割。消融研究进一步表明，仔细选择的单个示例比使用多个检索到的示例进行提示更有效。这些结果将推理时视觉记忆注入作为专业生物医学成像基础模型参数自适应的简单有效的替代方案。