论文
具体化研究逻辑:人工智能辅助的工作流程构建和定量语法的增量细化
Reifying Research Logic: AI-Assisted Workflow Construction and Incremental Refinement for Quantitative Syntax
摘要
定量语言研究通常依赖于长链的计算步骤,但连接这些步骤的逻辑通常仍然隐藏在脚本中。这使得分析变得比实际需要的更难检查、共享和修改。专注于定量语法,我们推出了 QLWF,这是一个可视化工作流程平台,可通过人工智能辅助的五阶段管道将自然语言研究描述转化为可执行的工作流程。在这种情况下,具体化使研究逻辑作为工作流可见,而形式化则为该工作流提供确定性的执行语义。语言模型仅在构建期间使用。执行由固定的节点库和引擎处理,这使生成的工作流保持可重复性。 QLWF 还支持增量细化,因此可以通过仅更改需要更改的部分来修改保存的工作流程,而不是从头开始重建。为了评估该方法,我们根据定量语法文献构建了一个名为 QL-Bench 的 64 任务基准。在三轮运行中,QLWF 为每项任务生成结构有效且可执行的工作流程,并达到 98.4% 的平均输出合理率,远高于基于提示的基线。在单独的 12 任务生命周期基准上,此细化过程在每种情况下都成功,并且使用了完全再生所需的大约三分之一的词元。该论文还发布了节点库、基准测试、工作流模板和平台,作为定量语法研究的可重用资源。