不同语言与分词粒度下，概念方向是否稳定

即使下游情感分类保持准确，提取的情感方向也可能因样本而异。为了评估方向的再现性，我们使用母语和翻译文本测量四种语言模型中英语、豪萨语和约鲁巴语表示的分半一致性。我们使用十个主题来识别选择达成一致的层，并评估十五个主题的不同组之间的方向一致性。使用最终标记，英语的分半一致性范围为 0.737 到 0.870，豪萨语为 0.589 到 0.762，约鲁巴语为 0.101 到 0.399，在所有 77 个完整模型比较中保持这种语言排名顺序。在这些相同层上训练的分类器一致地预测情绪高于机会，这表明预测准确性并不意味着方向一致性。此外，对标记表示进行平均会产生不太一致的一致性，而高度一致性可以部分反映句子长度。最终，我们的研究结果强调了独立于分类性能来测量向量方向可重复性的必要性，尽管它们没有确定分词器的生育能力（每个空格分隔的单词的平均分词数量）会导致跨语言差异。