从受控环境到真实世界：面向实战的渗透测试智能体评估

AI渗透测试智能体作为进攻性安全系统日益可信，但现有基准对于“哪个智能体在真实目标上表现最佳”所能提供的指引仍然有限。现有评估协议在简化或狭窄的设置中评估并优化预定义目标，例如夺旗（CTF）、远程代码执行、漏洞利用复现或轨迹相似度。这些工具对衡量有界能力很有价值，却无法充分刻画真实渗透测试所需的复杂性、开放式探索与战略决策。本文提出一套实用的评估协议，将评估从任务完成转向经验证的漏洞发现，从而能在横跨多种攻击面与漏洞类型、足够复杂的目标上开展评估。该协议将结构化真值与基于LLM的语义匹配相结合以识别漏洞，用二部图解析在现实模糊性下对发现结果评分，并包含持续的真值维护、对随机性智能体的重复与累积评估、效率指标，以及用于可持续实验的缩减套件选择。该协议通过支持更真实、更具运营参考价值的AI渗透测试智能体比较而拓展了现有技术水平。为支持可复现，我们还发布了专家标注的真值与所提评估协议的代码：https://github.com/ethiack/ethibench。