开源项目
微软HCU 1.0统一程序、无障碍与视觉电脑操作,并检查过期动作
概述
HCU在宿主Agent原有shell/文件工具旁加入AX和GUI。AX返回紧凑无障碍树与短引用,一次最多64个动作及等待并返回diff;GUI提供桌面截图、zoom和批量键鼠。输入前AX核实时目标,GUI核实时窗口布局,过期计划会拒绝而非落到变动后的控件。一个Go core承接MCP、CLI与Python客户端,各OS原生provider共享daemon与引用。 v1.0.0公开959文件及MIT许可,部分OSWorld适配保留Apache-2.0。Linux需X11/AT-SPI,macOS和Windows有各自权限及构建依赖;操作的是实际登录桌面,适合独占桌面或VM。作者对照保持模型/harness等条件,不能把局部基准分数当所有App可靠性保证,本轮未执行桌面动作。