通过结构化合成数据生成和抽象 N 元语法关联对 大语言模型 输出中的语言表示进行对比分析

我们提出了一个方法论框架，通过对比合成文本生成和统计分析来发现与不同社会群体相关的语言和话语模式。与以前的方法相比，我们的目标是描述偏见的微妙表达，而不是通过预先确定的单词或表达列表来诊断偏见。我们还使用上下文数据而不是孤立的单词或句子。我们的方法适用于任何类型的文本制作，包括叙事、任务导向或对话。情境化数据是使用情景场景和组标记的受控组合生成的，创建仅在参考组中不同的最小文本对，同时保持可比较的叙述条件。为了促进稳健的分析，语言形式被概括，并且使用点状互信息的变体来量化语言抽象和群体之间的关联，以检测在群体中不成比例出现的表达。然后，片段排名策略会优先考虑高度集中有偏见的语言信号的文本片段，这使得专家能够评估上下文中语言表达的有害潜力，从而连接定量分析和定性解释。