开源项目
facebookresearch/reliable-cua:CUA基准统计置信区间评测库
facebookresearch/reliable-cua
概述
reliable-cua是Meta发布的Python库,为符合PRISM规范的计算机使用代理(CUA)基准做统计评测:实现论文《Computer Use at the Edge of the Statistical Precipice》中的分层聚合框架,用树结构方法替代rliable的平面「运行×任务」范式,正确处理应用→场景→配置→rollout的嵌套层级。特性包括小样本下逐配置成功率的Wilson区间、把应用视为固定总体的分层bootstrap、按活跃变异轴自动适配的重采样、MAD/ATE/退化概率等变异分解,以及对缺失数据鲁棒的向量化加速(31.5万rollout、B=1000约5秒)。依赖numpy、scipy等,pip install -e .安装。仓库于2026-08-19以仓库创建形式发布。