研究交互式对话游戏中的知识转移

对话游戏代表了一种具有挑战性的环境，需要复杂的认知技能才能在与其他玩家协调的同时完成任务。考虑到语言代表了理解游戏规则和执行动作的界面，可以合理地假设对特定语言游戏的训练将增强可能与其他任务相关的特定能力。受此基本原理的启发，在本文中，我们研究了知识如何在不同的对话游戏之间转移。我们通过对 clembench 套件中的游戏 LLM 模型进行微调来研究可转移性（Chalamalasetti 等人，2023）并执行两项分析：i）我们使用 Zamir 等人的二进制整数优化程序得出任务可转移性图。 (2018)，使用任务绩效作为主要指标； ii) 我们计算每个游戏的任务向量（Ilharco et al., 2022），以研究微调模型之间的相似性及其任务可转移性。在我们的第一次分析中，我们发现某些游戏从迁移中获益比微调更多，并且视觉空间系列（例如探索游戏）迁移效果最好。通过我们的任务向量分析，我们发现基于相似性的方法捕获了游戏角色关系，但几乎没有可转移性模式，这表明需要更复杂的指标。