Bad Genius：用反事实引导Harness演化，超越基准捷径

自动Harness优化使可靠的智能体评估更加复杂：提议器反复使用已发布基准B_rel，修改固定目标智能体周围的提示、记忆、检索、工具和控制代码。任务留出改变了语义任务，却保持基准协议不变，因此“坏天才”提议器可能生成作弊Harness，其公开基准收益依赖于遍及整个基准的捷径。我们提出反事实Harness搜索与演化CHASE，将Harness演化表述为在保持有效性的基准反事实上生成约束。每次提议器更新后，挑战器搜索一种可执行协议变换，使收益受到较大破坏。有效性防火墙检查任务语义是否保持，确认集则决定该反事实是否进入有限档案。我们形式化了精确消除捷径的基准B_0，并建立统计保证，将有限反事实档案与B_0联系起来，同时刻画序贯挑战器搜索。我们在合成基准和OfficeQA上评估CHASE，发现它保留较强的公开基准收益，同时显著降低有效协议变更下的收益损失。