论文
ATLAS-RTC:使用 词元级 运行时控制关闭 LLM 代理输出上的循环
ATLAS-RTC: Closing the Loop on LLM Agent Output with Token-Level Runtime Control
摘要
我们提出了 ATLAS-RTC,这是一种用于自回归语言模型的运行时控制系统,可在解码期间强制执行结构化输出。 ATLAS-RTC 监控每一步的生成,使用轻量级信号检测输出合约的漂移,并应用有针对性的干预措施,例如偏差、屏蔽和回滚。与事后验证或静态约束解码不同,它在闭环中运行,从而能够在错误出现之前进行纠正。在结构化生成和工具调用任务中,ATLAS-RTC 将首次尝试成功率提高了 20 至 37.8 个百分点,在以故障为主的环境中,延迟降低了高达 88%。结果表明,许多失败是由解码工件而不是任务误解引起的,这促使运行时控制成为 LLM 系统中的一个独特层。