GENIE：新颖性的细粒度衡量标准

大语言模型 一直表现出跨任务缺乏创造力和多样性。之前的工作重点是解决模型是否能够产生创造性的输出。在这里，我们的目标是考虑新颖性，并以特定于任务的方式研究是什么使模型生成的内容新颖或不新颖。我们提出了一个细粒度的评估指标 GENIE 来衡量响应群体中特定任务特征的响应的新颖性。我们表明，与 GENIE 不同，整体指标很难捕捉新颖性的高维性，并且无法洞察它们所针对的属性。最后，我们使用 GENIE 来衡量解决创造力的缓解方法的有效性，以更好地了解这些方法可以在哪些方面提高新颖性。