论文
FOCAL:经过过滤的设备上连续活动日志记录,用于高效的个人桌面摘要
FOCAL: Filtered On-device Continuous Activity Logging for Efficient Personal Desktop Summarization
摘要
桌面交互流提供了交错用户任务的连续、隐私敏感的记录。将这些流转换为设备上按任务组织的个人日志面临两个主要挑战:详尽的视觉语言模型(VLM)处理使本地资源紧张,全局流处理导致跨任务上下文污染。我们推出了 FOCAL(过滤式设备上连续活动日志记录),这是一种隐私优先的多代理系统,采用统一的过滤器计划日志架构。它级联了一个用于噪声抑制的轻量级过滤代理、一个用于任务归因的纯文本大脑代理、一个用于选择性视觉推理的记录代理以及一个用于上下文连贯摘要的任务隔离记忆代理。 DesktopBench 上的实验(包含 420 个复杂会话中的 2,572 个屏幕截图)显示,与基线相比,FOCAL 将总词元消耗量减少了 60.4%,VLM 调用次数减少了 72.3%,同时将关键信息召回率 (KIR) 从 0.38 提高到 0.61。至关重要的是,在 $A{\to}B{\to}A$ 任务中断下,FOCAL 保持任务 Acc 0.81 和 KIR 0.80,而基线则下降到 Task Acc 0.03。 FOCAL 开创了将无指令桌面流高效、在设备上汇总为多视角个人日志的先河。