论文
自动:AGI 编译器
Auto: The AGI Compiler
摘要
每个 LLM 代理运行都会在前沿模型上逐个词元地重新导出其行为:出色、昂贵、缓慢且无限制。我们提出了 Auto,一个编译器,它记录实时代理行为,测量哪些部分是秘密确定性的,将它们提取到经过验证的程序或经过提炼的专家中,并发出认知二进制文件:WebAssembly 工件,其清单带有测量的保证,其声明的功能由沙箱物理强制执行。分层运行时在共形校准防护后面执行编译的行为;守卫会转向参考代理,捕获的跟踪会重新编译回来,因此不会重复计算任何内容。我们在狭义的、可测试的意义上使用“AGI 编译器”:一种能够自动将新颖的经验转化为永久的、经过验证的、近乎免费的技能,同时测量它不知道的东西的系统。在我们引入并预先注册的基准 AUTO-BENCH 上,560 个记录的前沿代理跨度中,87.1% 是见证确定性的(四个普查任务系列中的三个测量值为 100.0%)。在具有三个计划分配班次的 300 个项目流中,闭环编译了三个工件生成,并将每个项目的边际成本从 59 微美元降低到 2 微美元(端到端的 6.4 倍),在见证输入上的奇偶性为 96.9%,且零错误。相同的流还量化了故障模式:松散的防护默默地错误标记了 48.9% 的已编译答案,不忠实的 deopt 引用导致验证门拒绝重新编译。决定便宜是否保持正确的是校准和参考保真度,而不是模型能力。代码:https://github.com/RightNow-AI/auto