LLM的在线安全监控

尽管经过对齐训练——LLM在部署时仍容易产生不安全输出。因此在线监控输出——当无法再假定安全时发出警报——至关重要。我们研究一种简单的实时监控器：通过阈值化将来自外部模型的验证器信号转变为警报决策——阈值经风险控制校准。在数学推理与红队数据集上的实验中——我们展示这一简单设计与基于序列假设检验的更先进监控器相比具有竞争力。