动态LLM对话在软件开发中的前景

大语言模型（LLM）已成为协助开发人员的重要工具，但我们仍然缺乏如何在开发活动期间有效支持他们的交互的知识。也就是说，与基于聊天的 LLM 的交互质量仍然很大程度上取决于开发人员如何表达提示以及其中包含哪些信息。我们的目标是评估对 LLM 的这些交互的干预是否对软件开发人员产生影响——无论是有害还是有益。为此，我们对第三学期计算机科学专业的学生进行了为期四个月的纵向研究，他们在三种条件下使用基于聊天的 LLM 进行全栈 Web 开发项目：（1）\emph{context} 感知组接受基于意图的对话增强，（2）\emph{proactive} 组接受后续建议和量身定制的建议，以及（3）\emph{control} 组没有干预。我们的增强是最小的：（i）减少混杂因素和（ii）隔离治疗效果。分析交互日志和用户调查显示交互模式没有重大差异，这表明在干预交互时，测量结果中没有可检测到的有害影响。此外，我们观察到对\emph{主动}治疗满意度增加的趋势。结果表明，即使干预最少，开发者与 LLM 交互的动态指导机制也显示出可观察到的效果，因此更严重的增强可能有可能大幅提高开发者满意度。