通过迭代不对齐进行罕见事件估计

随着智能体的部署具有更大的自主权，即使是沿着其随机输出轨迹的极其罕见的事件也可能发生并被证明是灾难性的。因此，安全部署并不取决于这些事件是否会发生，而是取决于它们发生的频率。我们研究估计由代理自身行为的随机变化引起的罕见事件的概率的问题。估计此类风险需要搜索巨大的轨迹组合空间。朴素蒙特卡罗在这种情况下在计算上是令人望而却步的，构建有效的重要性采样（IS）建议需要对上下文相关的条件分布链进行协调更改。我们开发了一种新的 IS 方法，通过扰乱原始模型的权重来构建提案。该提案本身就是一个可微分参数化语言模型，可以在权重空间上进行基于梯度的搜索。我们制定了一个目标，该目标结合了事件放大的可微代理和动态平衡放大与估计器稳定性的自适应正则化方案。我们在三个事件族的 $\sim$120M 和 $\sim$2.6B 模型上评估我们的方法，涵盖 300 多个罕见事件，罕见程度为 $10^{-9}$，参考概率使用 $<10\%$ 相对标准误差计算。在我们最可验证的设置中，我们观察到，对于概率低于 $10^{-7}$ 的事件，我们的 IS 估计器比朴素蒙特卡罗实现了超过 $800\times$ 计算加权效率增益。我们的实现可以通过此 https URL 获得。