论文

在LLM集成中实现自我意识与自我调节的元认知框架

Implementation of a Metacognition Framework for Self-Awareness and Self-Regulation in Ensembles of LLMs

智能体系统Agent 协作

摘要

大语言模型(LLM)因难以评估自身不确定性、检测知识冲突或识别超出自身专长的问题而广受诟病,这类局限不可避免地削弱了LLM的可靠性与可信度。本文提出了首个面向LLM集成的元认知框架实现,通过显式的监控与控制机制应对这些挑战。我们的系统计算一个元认知状态向量(MSV),从源自认知心理学的五个维度量化用于监控的自我意识:情绪反应、正确性评估、经验匹配、冲突信息与问题重要性。MSV值还提供用于控制的自我调节,依据查询复杂度自动在System 1(快速的、单节点或多节点)与System 2(深思式的、多节点)处理之间切换。在System 2执行中,图论算法根据各节点经MSV量化的元认知状态,为其分配专门角色(领域专家、批评者、评估者、综合者与通才)。我们的实现允许用户探索不同查询类型如何触发不同的处理模式。概念验证(PoC)演示通过示例展示了该框架,呈现了恰当的System 1/System 2路由,并通过实时雷达图和决策指示器帮助可视化元认知过程。这一PoC实现表明,为LLM系统构建元认知自我意识与自我调节框架是可行的。

在LLM集成中实现自我意识与自我调节的元认知框架:论文配图
图1. 五阶段集成控制流过程。