论文

ECLAIR:基于因果关系的人工智能框架,用于实证软件工程中的科学发现

ECLAIR: A Causally-Grounded AI Framework for Scientific Discovery in Empirical Software Engineering

应用与实践科学研究

摘要

科学方法长期以来一直指导着软件工程(SE)的实证研究,但现代软件系统的复杂性往往阻碍了其系统化应用。本文介绍了 ECLAIR,这是一个基于因果关系的人工智能框架,它将 大语言模型 (LLM) 集成到科学过程的每个阶段,从假设生成到分析和解释。 ECLAIR 将 LLM 视为在因果推理原则下运行的主动科学代理,采用人机交互设计,可防范不健全的自动推理的风险。我们通过案例研究演示了该框架,该案例研究了即时设计如何影响两个 LLM 中的代码生成准确性。结果表明,对于这两种模型,指令式、较长的几次和签名增强提示都会对准确性产生较小的负面因果影响,说明因果推理如何为解释软件现象发生的原因提供原则基础。这项研究提出了第一个将 LLM 嵌入到 SE 科学方法中的基于因果关系的结构化方法,该方法是围绕实证 SE 研究的认识论要求而设计的,为严格的人工智能辅助研究奠定了基础。