论文

LAMMI-Pathology:面向病理分子级医疗智能的工具中心自底向上LVLM智能体框架

LAMMI-Pathology: A Tool-Centric Bottom-Up LVLM-Agent Framework for Molecularly Informed Medical Intelligence in Pathology

智能体系统Agent 架构与控制循环

摘要

基于工具调用的智能体系统的兴起,为病理图像分析引入了比粗粒度文图诊断方法更循证的新范式。随着空间转录组技术近期大规模试验性应用,经分子验证的病理诊断正日益开放可及。本工作提出LAMMI-Pathology(LVLM-Agent System for Molecularly Informed Medical Intelligence in Pathology),一个面向领域专用智能体工具调用的可扩展框架。LAMMI-Pathology采用工具中心的自底向上架构,定制的领域自适应工具是基础。这些工具按领域风格聚类成组件智能体,再由顶层规划器分层协调,避免过长上下文引发任务漂移。在此基础上,我们提出基于原子执行节点(Atomic Execution Nodes, AEN)的新颖轨迹构建机制,作为可靠、可组合的单元,构建捕捉可信智能体—工具交互的半仿真推理轨迹。在此之上,我们开发轨迹感知微调策略,使规划器的决策过程与这些多步推理轨迹对齐,从而增强病理理解的推理鲁棒性及对定制工具集的自适应使用。

LAMMI-Pathology:面向病理分子级医疗智能的工具中心自底向上LVLM智能体框架
图1:LAMMI-Pathology框架概览。顶行展示分层推理架构,其中组件智能体编排风格专属工具,并为LAMMI规划器聚合上下文证据。中间行描绘数据与工具构建流水线,其中空间转录组学文献与组织病理学图像配对后经LVLM检索器处理以抽取QA对,且在AEN构建过程中,工具按其序列共现频率自底向上聚类,聚类数自适应。底行呈现AEN驱动的半模拟轨迹生成与轨迹感知微调方法,规划器与组件智能体均在共享的微调模型参数上运行。