中断循环：周期性的主题变化会引发基础语言模型中的判断惊喜和联系

基本语言模型在没有任务的情况下产生的新颖性从何而来，LLM 对长流的判断实际上可以看到什么？我们在三个基本模型上拆除了超过 24 个条件的认知启发生成循环。它的大部分效果存在于一个操作中：一个新主题每隔几百个词元（一次中断）就注入一个流，该流的字面重复被抑制（习惯化）。我们仅对生成文本的窗口进行判断，以前提为单位（n = 10）并测量可重复性的判断，与第二个判断系列和人类读者进行比较。根据该协议，与单独的习惯相比，中断使判断的惊讶度提高了 1.2 至 1.4 点，连接度提高了 0.8 点。要求连续性的连接词会造成伤害；纯粹的段落分隔符不会在新文本中添加任何可检测到的内容；重置上下文至少和保留上下文一样好；新场所的预先注册复制证实了主要对比。窗口法官看不到的三件事改变了这项研究的第一个版本，我们认为它们具有普遍用途。法官将实验者注入的句子评分为模型自己的句子。注入句子的固定轮换使模型从法官的视野之外重播其早期片段，法官将重播评分为惊喜和联系（150-300 期间中断后窗口的 65-80%）。而且局部收益并不构成：没有任何手臂能够生成集成文档。显着性监视器、循环内判断、跨中断记忆以及打开门的判断门控审查运行不会添加任何内容。对于验证程序（在线装箱）的问题，中断使有效的、独特的候选启发法增加了三到四倍，而没有提高最佳的质量。我们报告了一个长期生成的评估方案和一个简单干预的受控特征，而不是创造力的机制。