论文

AI对创造力与多样性的影响:LLM生成产品创意的实证研究

AI and Its Impact on Creativity and Diversity: An Empirical Study of LLM-Generated Product Ideas

模型评测模型能力评测

摘要

本研究考察大语言模型(LLM)为大学生生成价格低于50美元的新产品创意的效果如何。通过一系列研究,我们识别出将LLM用于产品创新的关键优势与弱点。第一项研究显示,以购买意愿衡量,LLM生成的产品创意平均质量高于人类创意,进入前10%的概率高出7倍。第二项研究表明,这种AI带来的创造力提升并不能用LLM更有说服力的推介技巧来解释。第三和第四项研究识别出用LLM做头脑风暴的一个弱点:AI生成的创意在单个创意层面新颖度较低,在创意集合层面多样性较低。第五项研究分析了既有基于LLM的创造力研究,发现所有这些研究中的创意多样性都一致偏低,证明了上述发现的普遍性。第六和第七项研究考察缓解这种多样性损失的技巧。我们比较了不同厂商与版本的LLM,发现越新的模型生成的创意越多样,但仍不及人类水平的多样性。我们还展示了几种几乎能把创意多样性提升到人类创意生成水平的技巧:跨厂商汇集创意;提示工程,包括思维链(Chain-of-Thought)提示以及注入异质的人物设定或约束;还有通过广泛探索解空间来恢复多样性的创意智能体。最后,在第八项研究中,我们表明通过扩大创意数量来利用AI创意生成近乎零的边际成本,能稳步提升对创意空间的覆盖,逼近人类水平的覆盖率。我们在结尾处为希望借助LLM找到更优新产品创意的创新管理者提出可操作的建议。