OralAgent：集成推理、工具和知识进行交互式牙科图像分析

牙科图像分析在支持口腔保健中的准确诊断和治疗计划方面发挥着关键作用。尽管最近的进展已经产生了用于特定任务和个体成像模式的牙科人工智能模型，但它们的孤立设计限制了在现实世界临床工作流程中的实际使用。在本文中，我们提出了 OralAgent，这是第一个牙科专用人工智能代理，它将多模式推理、基于工具的决策和基于知识的检索统一在端到端自动化框架内。它集成了22种可视化分析工具和368本广泛使用的经典牙科教材，可实现自主推理、规划、工具使用、知识检索和多步骤工作流程执行。此外，我们还推出了 OralCorpus，这是一种大规模、高质量的双语文本资源，包含为牙科检索增强生成 (RAG) 策划的 1.348 亿个标记。为了评估模型的多学科牙科知识，我们构建了 OralQA-ZH，这是一个中国多项选择题基准，由 11 个口腔专业的 798 个项目组成。大量实验表明，OralAgent 在 MMOral-Uni、MMOral-OPG 和 OralQA-ZH 基准上实现了最先进的性能，突出了其在现实临床环境中的有效性、可解释性和适应性。代码和模型可在 https://github.com/isjinghao/OralAgent 上公开获取。