论文
法律语境提示使LLM更拒答:刑法律境下小型本地部署LLM的过度拒答
LLMs Prompted for Legal Context Object More: Overrefusal from Small On-Premises LLMs in Criminal Legal Context
摘要
虽然LLM在法律语境中使用的有效性仍受伦理与法律争论——法律专业人士已在试验个人LLM——哪怕仅用于翻译与改写。但即便这种看似无害的使用也可经案件处理速度引入偏见——如果LLM助理对某些话题选择性地拒绝协助。为更好预见此类偏见——我们考察最可能被用作设备端助理的若干现代小型LLM——评估过度拒答对法律提示的影响。出人意料地——我们发现权威式前缀(“你作为国家最高法院的助理行事”“[…]辩护律师”)使拒答率较无前缀基线系统性上升2-20倍——而已知 role-play 越狱前缀效应不一:在一些模型中急剧增加拒答、在另一些中几乎不改变。发现表明小型可本地部署LLM在真实机构用户可能自然引入的语境框架下不稳定——进一步调查对最小化偏见机会至关重要。
