用于评估 GenAI 系统的人工智能辅助系统化

评估生成式人工智能（GenAI）系统具有挑战性，因为许多评估目标都是广泛的、有争议的概念，例如“推理”、“公平”或“创造力”。当这些概念未得到明确说明时，就不清楚应该测量什么或应如何解释评估结果。这个问题反映了一个缺失的步骤：系统化，即从广泛的背景概念转向以可测量的术语对该概念进行明确的、结构化的描述。为了帮助解决系统化对认知要求高且资源密集的事实，我们研究了人工智能辅助是否可以支持这一过程。为了实现人工智能辅助的系统化并评估其质量，我们引入了系统化概念的结构化表示、概念规范和验证工作表。然后，我们开发了两种人工智能辅助系统化工具：一种直接的零样本方法和一种多代理方法，该方法更接近地反映现有文献中的手动系统化方法。我们使用这些系统化工具来生成两个概念的概念规范——基于仇恨的修辞和数字同理心——并评估所得到的概念规范的内容有效性和信息可恢复性。