论文
稍微有点意思吗?测量 LLM 数字操作中的模糊强度单词
Does Slightly Mean Somewhat? Measuring Vague Intensity Words in LLM Numeric Actions
摘要
当强度词必须产生数字动作时,语言模型是否保留这些词的顺序含义?我根据 Quirk 等人的建议,研究了研究人员构建的 10 个英语程度修饰语的量表,从轻微到剧烈。程度修饰符分类法,在受控资源分配环境中,克劳德·俳句接收自然语言指令,产生数字分配,确定性后端将该分配转换为可测量的结果。运行之间变化的唯一变量是强度词或启动系统状态,隔离它们对模型数值输出的影响。在 T=0.0 和 T=0.7 的 6,620 次运行中,出现了三种模式。首先,该模型将 10 个强度单词压缩为 5 个不同的中值输出:四个较低层的单词全部映射到相同的值,而较强的单词则分为较高的范围(Spearman rho = 0.845,p < 0.001)。其次,当当前系统状态作为上下文提供时,单独的 Kruskal-Wallis 测试表明,通过开始分配进行分组比按单词分组捕获更多基于排名的方差(epsilon 平方基线 = 0.782 与 epsilon 平方单词 = 0.079),并且当系统接近容量时,词汇差异化为零。第三,近可行性限制模型表现出三种行为模式:弱词小幅调整对冲、强词完全弃权、词大幅推向局部上限。这些模式在整个温度范围内持续存在,随机采样扩大了分布,但没有恢复单词之间的顺序区别。在这个模型和领域中,模型对模糊强度词的数值解释是压缩的、状态相关的并且在操作边界附近是不连续的。