TACS：LLM 越狱后缀优化的轨迹感知候选选择

基于梯度的越狱后缀优化方法通常通过保留当前损失最低的候选者来更新后缀。我们表明，这种看似自然的设计本质上是短视的：在当前步骤代理下看起来更好的候选者通常无法在稍后的搜索中产生更好的越狱结果，揭示了选择阶段 奖励作弊 的一种形式。这表明候选选择，而不仅仅是候选生成，是后缀优化中隐藏的瓶颈。为了解决这个问题，我们提出了 TACS，一种用于越狱后缀优化的轨迹感知候选选择框架。 TACS 不是仅根据即时损失来选择候选者，而是通过轨迹感知代理增强每步评估，并通过参考策略正则化和判别器估计卡方校正来稳定选择，鼓励在当前步骤之后仍然有效的选择。 HarmBench 上的实验表明，在相同的搜索预算下，TACS 始终优于强大的基线，显着提高了攻击成功率，同时在整个搜索过程中表现出更稳定的优化行为。我们的研究结果强调，减轻由短视候选选择引起的选择阶段 奖励作弊 对于改进越狱后缀优化至关重要。