论文
决策模型可以理解立场吗?根据通用 LLM 评估 Jev
Can Decision Models Understand Stance? Evaluating Jev Against General-Purpose LLMs
摘要
立场检测需要识别作者对给定目标的态度,有时基于对话上下文。 Jev 是一种专为结构化决策而设计的专门决策模型,提供了通用大型语言模型 (LLM) 的替代方案。在这项工作中,我们在两个姿态检测数据集 VAST(英语文本)和 ZS-CSD(中文对话)上评估 Jev,并将其与四个通用 LLM 和两个微调模型进行比较。结果表明,Jev 在 VAST 上取得了有竞争力的表现,与 GPT-5.6 相当,并且优于其他通用 LLM。然而,它在 ZS-CSD 上落后于更强大的LLM,特别是在区分赞成和反对方面。进一步的分析表明,这种限制可能与理解回复关系和立场方向有关,而不仅仅是与对话长度有关。这些发现凸显了 Jev 在姿态检测方面的潜力和局限性。