论文

用自然语言交流国际象棋策略

Communicating Chess Strategies in Natural Language

模型评测基准与评测资源

摘要

国际象棋引擎早已达到了超人的棋力。然而,他们的走法建议背后的基本策略对于人类玩家来说很难理解,即使是熟练的玩家也很难理解。受此启发,我们提出了国际象棋策略语言化的任务,即用自然语言描述国际象棋策略。我们设计(i)用于表达策略的管道和(ii)用于客观评估生成的策略描述的评估框架。我们的实验表明,自然语言是一种有前景且可解释的媒介,可用于向人类和 LLM 玩家传达战略信息。我们收集了其他有趣的见解,包括(a)评估主线之外的策略的重要性,(b)纯粹基于概念的描述的局限性,以及(c)依赖 LLM 而不是人类进行评估的局限性。