论文
LAMMI-Pathology:面向病理分子级医疗智能的工具中心自底向上LVLM智能体框架
LAMMI-Pathology: A Tool-Centric Bottom-Up LVLM-Agent Framework for Molecularly Informed Medical Intelligence in Pathology
摘要
基于工具调用的智能体系统的兴起,为病理图像分析引入了比粗粒度文图诊断方法更循证的新范式。随着空间转录组技术近期大规模试验性应用,经分子验证的病理诊断正日益开放可及。本工作提出LAMMI-Pathology(LVLM-Agent System for Molecularly Informed Medical Intelligence in Pathology),一个面向领域专用智能体工具调用的可扩展框架。LAMMI-Pathology采用工具中心的自底向上架构,定制的领域自适应工具是基础。这些工具按领域风格聚类成组件智能体,再由顶层规划器分层协调,避免过长上下文引发任务漂移。在此基础上,我们提出基于原子执行节点(Atomic Execution Nodes, AEN)的新颖轨迹构建机制,作为可靠、可组合的单元,构建捕捉可信智能体—工具交互的半仿真推理轨迹。在此之上,我们开发轨迹感知微调策略,使规划器的决策过程与这些多步推理轨迹对齐,从而增强病理理解的推理鲁棒性及对定制工具集的自适应使用。
