论文
TARGRS学习有毒到无毒表征转移，在测试时细化干预幅度
LLM Detoxification via Transition-Aware Reward-Guided Representation Sampling
摘要
大型语言模型 (LLMs) 可以生成有毒内容，从而促使研究探索有效的测试时去毒方法。现有的表示引导方法通常依赖于静态或粗略的干预，并提供不精确的指导，因为它们不能充分模拟有毒生成与无毒生成之间的过渡。我们提出了转变感知奖励引导表示采样（TARGRS），这是一个测试时框架，可以学习潜在表示空间中毒性转换的奖励指导。在探索过程中，沿着毒性方向的渐进转向构建了从无毒状态到有毒状态的轨迹。沿着这些轨迹的毒性分数将稀疏标注转变为密集的、列表级监督，以实现转变感知的令牌级奖励模型。在推理过程中，TARGRS 使用该模型沿着相反的无毒方向引导从粗到细的采样：粗略采样确定到达无毒区域所需的干预，而细化则选择扰动最小的无毒表示。在 RealToxicityPrompts、BOLD 和 AttaQ 上对 10 LLMs 进行的实验表明，TARGRS 始终优于最先进的基线，在 RealToxicityPrompts 上将毒性降低高达 69.38%。 TARGRS 的运行速度几乎与原始 LLM 一样快，同时保留其核心功能，影响最小。通过干预语言解码器空间，TARGRS 还扩展到大型视觉语言模型 (LVLM)，在 3 个代表性 LVLM 中将毒性降低高达 64.23%。
