TradeVerse：国际贸易政治谈判的纵向基准

LLM 越来越多地应用于涉及机构和政治文本的任务，但现有基准在孤立的文档或单个任务上评估它们。在现实政治中，谈判是纵向数据，参与方可以在多次迭代中结盟或争论，每个回合都是前一个回合的结果，因此，理解一个回合需要跟踪它之前的所有事情。我们推出 TradeVerse，这是一个根据世界贸易组织 (WTO) 特定贸易问题构建的基准，成员国在多轮（有时长达数年）中相互挑战并交换论点。我们在 TradeVerse 中重建了 1170 美元的会议记录，涵盖 5 个组和 89 美元的产品组，并定义了三个任务：首先，系统必须分析纵向会议记录并预测特定会议中讨论的产品的统一系统代码（HS 章节），其次，我们检查系统在分析会议的匿名内容后是否可以猜测响应国家的名称，第三，我们要求系统扮演响应国家的角色并提供声明最后一轮。所有标签均直接从程序中恢复，无需手动注释。我们的实验强调了这些任务给当前 LLM 带来的挑战。据我们所知，TradeVerse 是第一个调查 LLM 在理解纵向政治贸易谈判方面的潜力的基准。