论文

MedCoG:通过元认知调控最大化医学推理中的LLM推理密度

MedCoG: Maximizing LLM Inference Density in Medical Reasoning via Meta-Cognitive Regulation

模型推理测试时计算扩展

摘要

大语言模型 (LLM) 在复杂的医学推理中显示出强大的潜力,但在推理缩放法则下面临着收益递减的问题。虽然现有的研究增加了大语言模型的各种知识类型,但目前尚不清楚额外成本如何有效地转化为准确性。在本文中,我们探讨了大语言模型的元认知,即他们对自己知识状态的自我意识,如何调节推理过程。具体来说,我们提出了 MedCoG,一种具有知识图谱的医学元认知代理,其中对任务复杂性、熟悉度和知识密度的元认知评估动态调节程序性、情景性和事实性知识的利用。以大语言模型为中心的按需推理旨在通过以下方式减轻缩放法则:(1)通过避免不加区别的缩放来降低成本,(2)通过过滤掉干扰性知识来提高准确性。为了验证这一点,我们凭经验描述了缩放曲线,并引入推理密度来量化推理效率,定义为理论有效成本与实际成本的比率。实验证明了 MedCoG 在五组严格的医学基准上的有效性和效率,产生 5.5 倍的推理密度。此外,甲骨文的研究强调了元认知调节的巨大潜力。

MedCoG:通过元认知调控最大化医学推理中的LLM推理密度
图2:用于医学推理的 MedCoG 框架,由以下部分组成:(1) Meta-Cognition Regulator,通过 Monitoring、Planning 与 Evaluating 来路由推理策略;(2) Knowledge Executor,提供情景知识(Recalling Experiences)、程序性知识(Knowing How)与事实知识(Knowing What)。调节器基于对复杂度、熟悉度与知识密度的评估,在不同知识类型之间动态路由推理。