版权法合规性代理评估

大语言模型 (LLM) 代理越来越多地执行涉及检索外部内容（例如图像）以及在适当情况下复制该内容的商业任务。 LLM 代理商应遵守法律，包括版权法。然而，目前我们缺乏足够的框架来评估它们是否在实践中这样做。为此，我们引入了 Copyright-Bench，这是一个旨在评估 LLM 代理商遵守版权法的基准。版权基准包括现实的商业任务——网站开发、商品设计和宣传材料制作——涉及代理在公共领域内容（其使用是合法的）和受版权保护的内容（在这种情况下使用是侵权的）之间进行选择。该评估引入了模拟不同用户偏好以及时间压力的提示变化。将最先进的 LLM 代理与人类基线进行比较，我们发现：（1）代理选择受版权保护的作品，尽管存在公共领域的替代品； （2）对于开放权重模型，违规率会随着某些用户偏好和模拟时间压力而增加。