边界一致，标签不一致：注释器内动态作为一种训练数据

现在，数据质量与训练语言模型的计算一样重要。许多训练数据来自人类对文本的注释，而解释性注释没有可以确定什么是“准确”的基本事实。有两条工作线对此做出了回应。将注释者组合成“基本事实”，并衡量它们彼此的一致性程度；另一个则将他们的分歧视为一个信号。两者都在某个时间点比较不同的人。我们衡量的是其他东西：随着时间的推移，一个读者如何复制自己对同一文本的阅读。一位人类专家读者和三个LLM家庭对三个苏美尔神话进行了分段，并用七个状态之一标记了每个分段的因果功能。在相隔数月的时间里，人类在每个神话中在几乎相同的地方剪切文本，但以不同的方式命名这些片段。这些模型并没有表现出这种一致的模式：两层之间的差距在一些神话中是正的，而在另一些神话中是负的，而且其大小各不相同。人类的标签变化不是随机的：运行经历了几乎相同的功能，但开始时相距一步，而模型运行则在相同的位置开始。我们认为这种模式是数据质量和污染检查的可用衡量标准：“人类”注释的标签与其边界一样稳定，并且其功能同步启动，看起来像模型的注释。