通过光学显微镜表征颗粒和纤维的人工智能

颗粒和纤维分散体的光学显微镜涉及解释受样品形态、化学成分、放大倍率和照明条件影响的微妙视觉线索。我们引入了一种人工智能（AI）蒸馏 框架，该框架使用语义锚从显微图像中提取语义丰富的图像嵌入。多模态教师将每个图像的视觉嵌入与代表照明模式、放大倍率以及样本身份和形态的三个文本嵌入相结合。由 LongCLIP 的扩展上下文文本编码器生成，生成 2304 维块结构教师向量，其组成块在整个训练和推理过程中保持物理可解释性。具有多层感知器 (MLP) 解码器的学生视觉 Transformer (ViT) 经过训练，可以仅根据图像重建该教师向量，从而最大限度地减少平均绝对误差 (L1) 损失，从而增强教师块结构的坐标级保真度。从教师嵌入空间的 HDBSCAN 聚类导出的伪类上的交叉熵项充当防崩溃正则化器，在不需要对比负挖掘的情况下强制执行簇间分离。在推理时，学生单独对图像输入进行操作，产生紧凑的嵌入，恢复教师向量的完整语义内容。该框架在留一法最近邻检索下，在细粒度样本描述标签上实现了大约 80% 的伪类验证准确性和 75% Recall@1。这些结果表明，语义锚定使仅视觉的学生能够获得比仅图像训练更丰富、更可解释的表示，并直接适用于异质颗粒和纤维分散体的检索、分类和探索性分析。