被告的陈述何时重要？ LLM模拟陪审员的偏见与说服研究

LLM 已被用来模拟专业环境中的人类决策，但它们在普通法陪审团审判中的行为仍未得到探索。我们研究被告的法庭陈述何时以及如何影响 LLM 模拟陪审员，重点关注说服力、意识形态偏见和基于背景的亲和力。为了支持分析，我们引入了 JuryBench，这是一个包含美国刑法中有争议刑事案件的基准。在每种情况下，被告都可以提出各种合理的理由来支持无罪释放或减轻责任。我们确定基本案例并设计不同背景的被告，他们在法庭上发表具有不同情感诉求或反驳的陈述。模拟了具有不同意识形态的陪审员。我们检查了 20 个前沿 LLM，总共产生了 432K 个决策和理由，并量化了判决严重性的变化。我们的研究结果表明，LLM 陪审团模拟与许多人类陪审团的发现相呼应。首先，情感说服可能是有害的，因为陪审员可能会将其视为有罪或前后矛盾的证据。接下来，我们表明，陪审员和被告之间的背景契合度是比其他孤立因素更强、更重要的因素，而且陪审员一般对背景相反的被告更严厉，对背景相同的被告更宽容。最后，我们发现陪审员意识形态也强烈影响严重性判断。这些发现强调了使用 LLM 来模拟陪审团推理的前景和风险，并呼吁仔细评估。数据和代码可在 https://github.com/choyingw/JuryBench 获取