MMIR-TCM：用于中医临床决策支持的记忆集成多模态推理和检索

中医诊断，特别是通过舌诊，在主观性和可重复性方面面临着持续的挑战。多模态人工智能在中医临床任务（例如辨证和处方生成）中的应用受到视觉舌头特征和文本推理之间的语义差距以及缺乏大规模标准化数据集的严重阻碍。为了应对这些挑战，我们引入了 MMIR-TCM，这是一种新颖的框架，通过将多模态 大语言模型（MLLM）与记忆增强分割和检索增强生成（RAG）集成来模拟中医专家的诊断过程。 MMIR-TCM 采用三阶段架构，集成了用于稳健舌提取的 无需训练 Memory-SAM 模块、用于生成结构化舌诊断的微调 Qwen3-VL 模型，以及用于生成循证临床决策支持的基于 Qwen3 的 RAG 组件。该框架是使用 MedTCM 开发和验证的，MedTCM 是我们专门为高级中医研究引入的一种新的大规模多模式数据集。为了正确评估我们框架的临床准确性（现有指标无法捕捉到这一点），我们还开发了 TDEU，这是一种结合了语义理解和诊断重要性的特定领域评估指标。我们的综合实验表明，MMIR-TCM 的性能显着优于领先模型，包括 GPT-4o 和 Gemini 2.5 Flash。