论文

在线对话中的参数结构预测:建模范式和任务架构的比较研究

Argument Structure Prediction in Online Conversations: A Comparative Study of Modeling Paradigms and Task Architectures

模型评测评测方法与指标

摘要

论证结构预测(ASP)通过识别论证单元及其关系,从话语中构建完整的论证结构。虽然最近的工作探索了多种方法——包括统一神经模型、多步骤管道和基于提示的大语言模型(LLM)——但它们的相对权衡仍未得到充分探索,特别是在对话环境中。我们在严格的模式约束下对 ASP 进行了系统评估,比较了单步骤和多步骤任务架构中的监督微调和基于提示的 LLM,从端到端的对话输入生成完整的论证结构。我们以三个不同的对话语料库为基准,将推理锚定理论改编成双极性论证结构。在共享评估框架下,我们评估预测性能、跨域泛化、模式合规性和计算效率。我们的结果表明,ASP 仍然是一项具有挑战性的任务,识别论证关系成为主要瓶颈,这很大程度上是由于对话论证的隐含性和上下文相关性。为了促进未来的研究,我们发布了对话语料库上计算 ASP 的数据处理管道和端到端建模框架。