论文

TIDES:用于建模多方社会动态的纵向双语数据集

TIDES: A Longitudinal Bilingual Dataset for Modeling Multi-Party Social Dynamics

模型评测基准与评测资源

摘要

群组对话是人类协作的基础,但标准 大语言模型 (LLM) 仍然难以应对多方交互的复杂性。这一挑战仍然存在,部分原因是现有的群组对话数据集通常仅限于具有人为任务的短期实验室环境,无法捕捉现实世界团队的长期社交动态。为了弥补这一差距,我们引入了 TIDES,这是一个跟踪 12 个大学项目团队整个学期的高分辨率纵向数据集。 TIDES 包含来自现场会议的 75,971 条英语和韩语话语,提供了从事自我管理项目的团队的自然记录。我们的社会结构注释(涵盖交互类型、新兴角色和发展阶段)允许对几个月内的团队演变进行建模。实验表明,TIDES 上的 微调 比二元组基线 (64.53%) 提高了 13.8 个百分点,并且产生的性能可与强大的专有零样本模型相媲美。该模型与 AMI 会议语料库上发布的最新技术水平相差不到 2.1 个百分点,同时使用的训练数据减少了约 42%。然而,人类评估表明,更好的下一个说话者预测并不一定会产生更自然或连贯的话语,因为微调模型通常不如普通模型那么受欢迎。这种潜在的不匹配激发了对结构建模如何支持自然多方生成的进一步研究。