论文

经小语言模型的高质量动态游戏内容生成:概念验证

High-quality generation of dynamic game content via small language models: A proof of concept

应用与实践内容创作

摘要

大语言模型(LLM)为动态游戏内容生成带来希望,但面临关键障碍,包括叙事不连贯与高昂运营成本。由于其体量巨大,它们常经由云端访问,限制了在离线游戏中的应用。转向小语言模型(SLM)可解决许多此类实际问题,但现有使用SLM的研究产出质量不佳。我们提出一种策略:通过对精心限定范围的任务——上下文狭窄、结构受限或两者兼有——进行强力微调,实现高质量SLM生成。简言之,任务越难,所需范围越窄、对训练语料的专门化程度越高。训练数据经基于DAG的方法合成,将模型扎根于特定游戏世界。此类模型可构成围绕相应叙事学框架设计的agentic网络的基础,成为比依赖云端的LLM更实用、更稳健的方案。为验证该方法,我们给出聚焦单一专用SLM作为基础构件的概念验证。我们引入一个围绕声誉修辞对战的最小RPG循环,由该模型驱动。我们证明,简单的重试直至成功策略即可达到足够质量(由LLM-as-a-judge方案定义),且延迟可预测、适合实时生成。虽然本地质量评估仍是开放问题,我们的结果证明了在典型游戏引擎约束下实时生成的可行性。

经小语言模型的高质量动态游戏内容生成:概念验证
图4. 训练数据生成与微调流水线。OPEN a) a) 按照 Fig. 3 的结构生成多样化的输入 {z→_i}_i,映射为字符串输入 ω_i,填充参数化提示 Π。LLM 生成产生输出 Ω_LLM(Π(ω))。80% 的输入构成训练数据集 I_train,其余构成验证集 I_eval。OPEN b) b) 基础模型 Llama 3.2-1B 在训练数据上微调,得到生成输出 Ω_SLM(ω_i) 的 16 位(训练精度)、8 位与 4 位量化版本。