论文

CogniConsole:把推理时控制外化为形式抽象以实现可靠LLM交互

CogniConsole: Externalizing Inference-Time Control as a Formal Abstraction for Reliable LLM Interactions

智能体系统上下文与知识上下文工程Agent Harness

摘要

大语言模型(LLM)系统的可靠性通常被表述为模型能力的函数。我们对此提出挑战:可靠性显著受推理时控制影响——即治理任务框定与上下文选择的计算层。我们引入CogniConsole,一个把该控制外化为结构化接口的架构实例:结合程序化协调与有界的基于提示的推理。经多步交互环境中489次可控性导向探针实验,我们证明:在固定模型架构下,增强结构脚手架——从非结构化到完全脚手架化——系统性地降低输出方差与失败率。结果表明许多观察到的失败模式(如上下文漂移与约束遵循不一致)源于控制欠指定而非能力不足。本工作为把推理时控制当一等抽象处理提供经验基础,开启了超越单纯扩展的LLM系统设计与评估新方向。

CogniConsole:把推理时控制外化为形式抽象以实现可靠LLM交互:论文配图
(a) 相对改进(C3 与 C1)(b) 不同条件下的失败率 (c) 不同探针的性能(平均值 ±\pm std) 图 1:跨提示条件下结构化推理时间控制的效果。 (a) 支架式提示 (C​3C3) 比非结构化提示 (C​1C1) 产生一致的改进。 (b) 在结构化控制下故障率降低。 (c) 性能提高,同时变异性降低。