缩小视野：量化生成单一文化中的主题显着性变化

摘要

随着大语言模型 (LLM) 成为我们获取和共享信息的核心，它们在塑造全球知识方面发挥着越来越强大的作用。然而，随着这些模型的发展，它们的输出有可能会陷入生成单一文化，其中它们所代表的观点多样性随着时间的推移而缩小。模型层面的研究通常无法查明哪些特定主题或观点在此过程中被边缘化或放大。在本文中，我们介绍了一种方法来衡量模型系列之间主题显着性的变化，跟踪训练后哪些内容获得或失去了显着性。将这种方法应用于气候变化话语的案例研究，我们展示了同质化如何影响不同模型中不同解决方案的表示。我们还测试了对抗这一趋势的干预措施，表明专门的模型可以帮助保留更广泛的观点。这强调了监控主题显着性以诊断单一文化风险并确保人工智能系统反映多元化思想的重要性。数据和代码可访问\href{https://github.com/oriane/topic_saliency_shift}{here}.