社交媒体立场检测中的上下文提示效果

由于语言简短、嘈杂且依赖于上下文，社交媒体上的立场检测具有挑战性。虽然 大语言模型 (LLM) 显示了零样本泛化，但通常会在没有上下文信息的情况下进行提示，这限制了他们解释不明确帖子的能力。在这项工作中，我们系统地研究了将现实世界（例如，用户简介）、派生（例如，政党）和 LLM 生成的（例如，目标描述）上下文特征合并到 Twitter 上立场检测的零样本提示中的影响。我们的评估涵盖四个基准数据集，包括新的高质量德国 Twitter 立场数据集。在多个 LLM 中，我们发现集成上下文信息可以提高性能，但仅限于特定条件下。 LLM 生成的目标描述不断提高准确性，而其他用户元数据则具有混合甚至有害的影响。值得注意的是，我们表明，同一用户包含其他推文通常有利于监督学习，但可能会因输入噪声而损害性能。我们的定性分析表明，LLM 很难区分任务特定的有用信息和不相关的上下文。我们的研究结果强调了在嘈杂的现实环境中使用上下文信息进行提示的前景和挑战。我们在此 \href{https://github.com/tilmanbeck/stance-context-twitter}{page} 发布代码和数据。