论文

偏见还是个性化?个人信息对人工智能驱动发展的影响

Biased or Personalized? The Impact of Personal Information on AI-driven Development

模型评测鲁棒性、公平性与可信度评测

摘要

生成式人工智能越来越渗透到软件工程中,使开发人员能够根据自然语言规范生成函数、文件甚至整个应用程序。人工智能系统也变得更加个性化,根据推断的用户特征和交互历史来调整输出。虽然个性化可以改善开发体验,但它引起了人们的担忧,即生成的软件可能是由开发人员的属性而不是仅由任务需求决定的。先前的研究表明,生成式人工智能可以产生有偏见的软件工件,但人们对开发人员身份如何使生成的代码产生偏见知之甚少。我们描述了推断的开发人员属性可以影响生成的工件的三个维度:界面设计、模板内容和代码结构。首先,通过对 800 个人工智能生成的网站进行对照实验,我们发现与年龄和性别相关的信号在所有三个维度上都会产生显着差异。其次,我们对 20 位使用人工智能创建个人网站的参与者进行了观察性研究和后续访谈,以研究个性化如何影响实践中的软件工件,并了解程序员如何看待个性化和偏见之间的界限。总之,我们的结果表明,开发人员属性可以对生成的软件产生超出规定要求的有意义的影响,突显了人工智能辅助编程中个性化和公平性之间先前未充分探索的紧张关系。