DraftTrace：人工智能集成写作的多视图分析环境

生成式人工智能改变了学生撰写写作作业的方式。最终的工件已不足以理解它的生产过程。我们推出 DraftTrace，这是一个写作环境，它共同捕获写作的三个互补视图：最终产品、写作过程以及与集成人工智能助手的交互。 DraftTrace 重建文档如何随着时间的推移而发展，并将这些信号组织为教师的提交、纵向和班级级别分析。我们在 81 名学生的 NLP 研究生课程中部署了 DraftTrace，并将他们的课程与通过自动化工具输入的大语言模型生成的响应以及复制类型的响应进行了比较。产品衡量标准区分文本表述的差异，而流程衡量标准则区分文本输入方式的差异。同时考虑这两种观点有助于描述诸如复印打字之类的情况。交互痕迹显示，学生在写作的各个阶段使用助手的方式有所不同：在早期阶段澄清问题，在后期阶段验证答案。初步的教师调查强调了多视图写作分析及其可解释性的重要性。