PRWeaver：针对长期恶意拉取请求评估基于 LLM 的代码审计程序

基于 LLM 的代码审核器越来越多地集成到拉取请求 (PR) 工作流程中，但它们针对分布在存储库演变中的对抗性更改的可靠性仍然知之甚少。我们引入了 PRWeaver，这是来自 10 个真实世界存储库的 208 次执行验证攻击的基准，每个攻击都在四个匹配的审查渲染下实例化（总共 832 个渲染）。我们评估了六个审计模型系统中的三个公关审计代理。在所有系统中，分解攻击最多会使检测发生五个百分点的变化，这表明仅提交边界并不能解释逃避行为。相比之下，$N=16$ 下的每 PR 交织和相干载波融合分别减少了 5-13 点和 10-18 点的检测。在 $N=24$ 的全窗口审核下，检测率下降至 16-22%，而在每次 PR 审核下检测率为 50-60%。这些结果表明，对存储库历史记录的访问是不够的：当良性和恶意更改共同占据审计员的主动审查上下文时，或者当所述目的合理地解释了承受攻击的差异时，隐藏变得最有效。