ProText：用于测量长文本中（错误）性别的基准数据集

我们引入了 ProText，这是一个用于测量风格多样的长篇英语文本中的性别和性别错误的数据集。 ProText跨越三个维度：主题名词（姓名、职业、头衔、亲属称谓）、主题类别（典型男性、典型女性、中性/非性别）和代词类别（男性、女性、中性、无）。该数据集旨在探索文本转换中的（错误）性别，例如使用最先进的 大语言模型 进行摘要和重写，超越传统代词解析基准和性别二元。我们通过一个小型案例研究验证了 ProText，结果表明，即使只有两个提示和两个模型，我们也可以得出有关性别偏见、刻板印象、性别歧视和性别歧视的细致入微的见解。我们揭示了系统性的性别偏见，特别是当输入不包含明确的性别线索或模型默认为异性恋假设时。