开源项目

SWE-Bench-Mutated:基准变异工具官方开源

microsoft/SWE-Bench-Mutated-CAIN26

智能体系统Agent任务评测

概述

SWE-Bench-Mutated是CAIN 2026论文《Saving SWE-Bench》的官方代码发布,面向需要更真实Agent评测的研究者。README说明其提供CLI,用LLM改写SWE-Bench提示词并保存为数据集,供下游Agent推理使用,以基准变异缓解评测失真问题。项目采用MIT许可,提供配置与运行说明,变异方法由此成为独立可复用的工具,而不只是论文附件。