论文

超越生产力:在 GenAI 支持的软件开发过程中测量开发人员的认知负荷

Beyond Productivity: Measuring Developers' Cognitive Load During GenAI-Supported Software Development

模型评测评测方法与指标

摘要

生成式人工智能 (GenAI) 正在改变软件开发工作流程以及开发人员的工作方式。对 GenAI 采用的行业评估通常会监控生产力的提高、使用情况和输出质量,但对 GenAI 技术的实际采用者和驱动者(软件开发人员)的交互体验和认知负荷关注有限。了解 GenAI 是否会改变或改变开发人员在日常开发过程中的认知需求,对于以开发人员为中心评估 GenAI 支持的软件开发非常重要。它可以为组织设计和评估有效的人工智能支持的工作流程提供信息。在这项工作中,我们研究了 GenAI 的使用和任务背景如何与专业开发人员感知的认知负荷相关,以及可穿戴设备衍生的生理特征是否提供了超出此背景的额外信息。在两个 SAP 站点进行的为期四天的工业现场研究中,21 名开发人员记录了他们的任务、任务持续时间、GenAI 使用情况以及佩戴 EmbracePlus 腕带时感知的认知负荷。结果表明,感知的认知负荷与 GenAI 使用和任务上下文相关,而生理测量仅提供有限的附加信息。这些发现表明,开发人员在 GenAI 支持的软件开发过程中感知到的认知负荷应根据具体工作环境进行评估,并将可穿戴生理数据用作补充信息,而不是独立信息。