论文

变分语言模型中的代理控制

Agentic Control in Variational Language Models

模型架构新型架构

摘要

我们研究变分语言模型是否可以支持基于其内部证据的最小且可测量的主体控制形式。我们的模型结合了局部变分隐藏计算(EVE)、稳态潜在调节器、结构感知检查点保留和在保留模型之上运行的校准不确定性感知控制器。我们没有将不确定性视为预测后测量的被动诊断,而是将其视为可以调节训练、支持检查点保留和指导推理时间干预的操作信号。由此产生的框架是有针对性的。它研究内部控制的闭环形式,其中结构性和预测性信号变得可操作。根据经验,变分主干比语言建模任务上匹配的确定性参考有所改进,同时还表现出更丰富、更可用的不确定性概况。在此主干之上,校准控制器保持活动状态,在全面代理评估下使用多种操作,并产生积极的质量成本权衡。这些结果支持一个精确的主张:内部不确定性不仅可以作为变分语言模型的描述性属性,还可以作为调节、检查点保留和最小代理路由的实用控制接口。