论文

DataWeave:人机协作的探索式结构化数据分析

DataWeave: Deploying Human-LLM Analytics for Exploratory Structured Data Analysis

应用与实践结构化分析、预测与决策

摘要

数据新闻依赖记者与调查记者发现趋势、差异与问责叙事的能力,而实践中探索大型结构化数据仍缓慢脆弱:记者要在多年跨多数据集的数百个变量中导航、理解数据编码约定、并在假设演化时编写不平凡的分析代码。LLM常被宣传为"用英语提问、得到SQL/答案",但真实新闻编辑室工作流暴露出反复出现的失败,如schema错配与漂移、误读领域语义与单位、以及沉默假设。我们提出DataWeave:结合对话交互、schema接地、分析规划与可执行查询生成,支持结构化数据的探索式分析。它不把LLM当作自主答题机,而框定为可检查、可纠正、可随假设演化被引导的交互伙伴。我们与专业记者对IPEDS(美国教育部中等教育后教育综合数据系统)做了案例研究——该高利害公共数据集领域语义丰富且schema频繁更新;并报告部署经验与迭代细化如何塑造当前架构与分析工作流。发现提炼出结构化数据分析中可信人机协作的设计原则与部署教训。