论文
Activity Frames:将屏幕活动确定性编译为Agent记忆与重放
Activity Frames: Deterministic Screen-Activity Compilation for Agent Memory and Replay
摘要
计算机使用代理对用户已执行的例行程序进行全量推理,因为代理的记忆记录的是用户的输入,而不是用户的实际操作。我们通过一个确定性、零模型管道将被动捕获的屏幕活动编译到代理记忆中:它将本地捕捉流分割成带有应用、站点、时间、输入体积和证据指针的类型活动帧,并将其与原始行进行对比,以实现无模型循环,因此输出是字节相同的、可缓存且机械可审计的。在一个专业用户的单用户数据集(128,756个帧,持续51天)中,编译器将一天的原始捕捉缩减到一个提示准备好的上下文块,在68毫秒内缩小86倍;读取该上下文块的Agent答题准确率为98.4%(Wilson 95% CI 91.7-99.7%,独立oracle),而LLM摘要的准确率在66-80%之间,中等模型阅读该块与前沿模型匹配。此编译器还作为需求侧成本指标。从委派任务前被动捕获的人类活动读取数据而不是代理部署,它提供了代理成本模型假设但尚未测量的两个参数:Routine Overhead Ratio(R)和routine recurrence(h)。我们报告了初始值为60-343x的R,以及在样本内9.0%和样本外7.7%的可分配重复率,对于接近8%的真实整个Agent群体的Token节省上限。一个确定性的编译器与模型脱节,在条件匹配命中时,现场演示了无需模型、零Token的确定性例程重放。架构、编译器和评估框架均开源。