论文
人权值多少钱? ECtHR-NPD:预测非金钱损害赔偿的基准
How Much is a Human Right Worth? ECtHR-NPD: A Benchmark for Predicting Non-Pecuniary Damage Awards
摘要
现有的法律基准涵盖了不同的任务,而持续的货币补救措施仍然相对未得到充分探索。据我们所知,我们引入了 ECtHR-NPD,这是在没有法定公式或明确的计算规则确定金额的情况下,根据案件信息预测欧洲人权法院 (ECtHR) 非金钱损害 (NPD) 裁决的第一个基准。 ECtHR-NPD 包含 14,575 个案例,其中案例级别的奖励以名义欧元计算,按时间顺序划分,以及将目标构建与模型输入分开的协议。我们评估了一系列方法,包括恒定预测器、梯度增强树、检索方法、微调编码器语言模型 (LM)、提示解码器 LM 和知识增强代理。我们的结果表明,更复杂的 LM 和代理方法并不总是优于最强大的基于特征的基线。所有模型系列都在努力确定零奖项并校准高奖项预测,并且挑战测试视图进一步退化,使得 ECtHR-NPD 成为当前最先进的开放权重和专有 LM 的具有挑战性的测试平台。