论文

通过LLM生成的声明式规范衔接自然语言与交互式What-If界面

Bridging Natural Language and Interactive What-If Interfaces via LLM-Generated Declarative Specification

摘要

What-if分析(WIA)是一个迭代、多步骤的过程,用户通过交互式界面调整参数、施加约束并限定数据范围,以探索和比较假设情景。现有工具难以支持有效的交互式WIA:电子表格和BI工具需要耗时费力的搭建,而基于LLM的聊天机器人界面语义脆弱、频繁误解意图,并随对话推进产生不一致的结果。为克服这些局限,我们提出一个两阶段工作流,借助由Praxa规范语言(PSL)驱动的中间表示,将自然语言(NL)的WIA问题转化为交互式可视化界面:第一阶段,LLM从NL问题生成刻画分析意图与逻辑的PSL规范,从而能够对错误规范进行验证与修复;第二阶段,这些规范被编译为带参数控件与联动可视化的交互式可视化界面。我们用覆盖11种WIA类型、5个数据集和3个最先进LLM的405个WIA问题对该工作流进行基准测试。结果显示,在各模型上,一半的规范(52.42%)无需干预即可正确生成。我们对失败案例进行分析,得出一个涵盖非功能性错误(规范无法编译)与功能性错误(规范可编译但歪曲意图)的错误分类法。基于该分类法,我们使用少样本提示对失败案例进行针对性修复,将成功率提升至80.42%。最后,我们展示了未被检出的功能性错误如何经编译传播为貌似合理却具有误导性的界面,证明在LLM驱动的WIA系统中,中间规范对于可靠衔接自然语言与交互式WIA界面至关重要。

通过LLM生成的声明式规范衔接自然语言与交互式What-If界面:论文配图
图 1. 我们的两阶段工作流程:(1) 将 NL WIA 问题转换为结构化中间表示,如 Praxa 规范语言 (PSL),以及 (2) 将其编译为具有链接控件和可视化的交互式可视化 WIA 界面。