论文
MedCoG:通过元认知调控最大化医学推理中的LLM推理密度
MedCoG: Maximizing LLM Inference Density in Medical Reasoning via Meta-Cognitive Regulation
摘要
大语言模型 (LLM) 在复杂的医学推理中显示出强大的潜力,但在推理缩放法则下面临着收益递减的问题。虽然现有的研究增加了大语言模型的各种知识类型,但目前尚不清楚额外成本如何有效地转化为准确性。在本文中,我们探讨了大语言模型的元认知,即他们对自己知识状态的自我意识,如何调节推理过程。具体来说,我们提出了 MedCoG,一种具有知识图谱的医学元认知代理,其中对任务复杂性、熟悉度和知识密度的元认知评估动态调节程序性、情景性和事实性知识的利用。以大语言模型为中心的按需推理旨在通过以下方式减轻缩放法则:(1)通过避免不加区别的缩放来降低成本,(2)通过过滤掉干扰性知识来提高准确性。为了验证这一点,我们凭经验描述了缩放曲线,并引入推理密度来量化推理效率,定义为理论有效成本与实际成本的比率。实验证明了 MedCoG 在五组严格的医学基准上的有效性和效率,产生 5.5 倍的推理密度。此外,甲骨文的研究强调了元认知调节的巨大潜力。
