Syll：具备跨界面执行能力的开源个人自动化

个人AI智能体日益需要跨API、shell、网页界面和桌面GUI运作，但许多系统仍只针对单一界面调优，对用户教学与可审计性的支持有限。我们提出Syll，一个开源、可自托管的多模态智能体执行框架，在模块化运行时中统一了MCP/API工具、CLI执行与可视化GUI控制，使智能体能够协调跨异构界面的计算机使用，同时简化用户与智能体之间的信息交换。Syll的核心是一个双向的用户—智能体交互层：用户通过直接演示教授操作流程，Syll将其编译为可复用技能；智能体的执行则被转译回多模态证据——日志、关键帧和审批检查点——供检查与控制。Syll还将记忆、技能、例程与治理规则外化为可编辑的本地产物，支持直观的检查、扩展和下游开发。我们的实现已在Adobe Photoshop、Adobe Audition、Stardew Valley、macOS Finder等生产级桌面应用上得到验证。我们报告了面向机制的研究，验证了多模态路由、可教学的GUI回放以及持久的本地产物。我们希望Syll能成为个人自动化的实用开源基础，让用户能够教授、检查并持续扩展。