STRATA：通过角色对齐的分层Agent进行实时策略游戏的自我学习

即时战略（RTS）游戏需要智能体在长时间的比赛中协调经济发展、生产建设、基地防御、单位组织和攻击时机。现有研究已应用大语言模型来指挥 RTS 游戏中的决策，使智能体能够读取文本游戏状态并生成高级计划。然而，较长的推理延迟可能会导致他们错过关键的战术事件。完整 RTS 比赛的复杂性和战术多样性也使得现有系统严重依赖于手动编写的基于经验的提示，从过去的游戏中持续学习的能力有限。我们推出了 STRATA，这是一个针对红色警报的具有跨游戏自学习功能的角色对齐分层系统。 STRATA 将游戏中的战略、后勤和战术决策分别分配给战略Agent (SA)、后勤Agent (LA) 和战术Agent (TA)。 SA根据全局游戏状态和相关经验卡生成高层指令，而LA和TA负责后勤和战术执行。每场比赛结束后，审核Agent (RA) 从比赛轨迹中获取候选经验，使用后续比赛的证据对其进行验证和修改，并将多场比赛支持的战略经验压缩为简洁的经验卡以供 SA 检索。我们通过经验卡的形成、学习前后的全场比较、以及与不同打法的AI对手进行经验学习来评估STRATA。在固定场景下，使用学习到的经验卡可以将观察到的胜率从 30% 提高到 100%。与不同游戏风格的人工智能对手进行连续学习也会产生独特的长期战略经验。