学术搜索中的人工智能概述：评估特定领域搜索引擎中人工智能生成的搜索结果摘要

评估搜索引擎结果页面 (SERP) 以评估结果相关性是学术搜索中的一个艰巨步骤。在一项形成性混合方法设计研究中，我们研究了人工智能生成的 SERP 级摘要，作为社会科学信息学术搜索引擎的支持功能。首先，我们使用两种通用模型（一种商业模型和一种开放模型）手动评估 10 个查询的前 5 个结果的摘要，得出探索性的六类错误分类法和学术部署的五种保障措施。然后，我们进行了一项受试者内用户研究（n = 30），比较有和没有人工智能摘要的界面。验证性分析显示，在主观工作量、感知有用性、满意度和决策信心方面，人工智能总结存在一致但不显着的趋势。探索性分析表明，精神需求较低，挫败感也往往较低。在行为上，参与者很少扩展摘要，并且当摘要可用时，结果点击和查询重新表述的描述性略有减少。借鉴信息搜寻理论和参与者的反馈，我们建议人工智能摘要可以集中 SERP 级别的信息气味来支持早期分类。总体而言，研究结果表明，SERP 级别的人工智能摘要是一种依赖于上下文和用户的帮助，而不是一种普遍的改进，同时为学术搜索提供了错误分类、安全意识部署指南和具体设计含义。