论文

DeliChess:用于解决国际象棋谜题的多方对话数据集

DeliChess: A Multi-party Dialogue Dataset for Deliberation in Chess Puzzle Solving

模型评测基准与评测资源

摘要

多方对话是研究协作推理和决策的关键设置,但现有数据集很少关注结构化、推理密集型任务。我们引入了 DeliChess,这是一个小组审议对话的数据集,参与者在其中协作解决多项选择国际象棋难题。参与者首先独立回答,然后进行多方审议并修改个人答案。该数据集包含 107 段对话,其中包含完整的文字记录、审议前和审议后的选择,以及交流功能、认知立场和支持审议的有用性的话语级注释。我们的分析表明,初始解决方案质量的更大多样性与更大的收益相关,而答案轨迹则揭示了深思熟虑如何恢复、发现或失去强有力的答案。群体超越每一个独立答案的案例与持续推理和认知开放性相关。我们进一步提出了一个诊断行动选择任务,并发现测试的 LLM 与人类证明的有用行动仅表现出较弱的一致性。总之,我们的数据集为建模群体推理、对话动态和有效审议的条件提供了一个测试平台。