论文
VIBE:基于 VAD 的 大语言模型 输出以实体为中心的情感分析基准
VIBE: A VAD-Informed Benchmark for Entity-Centered Affective Profiling of Large Language Model Outputs
摘要
大语言模型 经常描述社会显着目标,包括政治人物、国家、宗教、组织、历史事件和社会群体,将情感框架与事实内容一起编码:目标可能显得有利或具有威胁性、平静或冲突、强大或脆弱。现有的工作通过情绪、好感度和情感基准捕获了这个空间的一部分,但没有一个结合了目标导向的 VAD 归因、明确的评分者合同和通行证报告格式。我们引入了 VIBE,它是在价-唤起-支配 (VAD) 空间中对 LLM 输出进行以实体为中心的情感分析的基准。其核心贡献是一个测量契约:VIBE将生成与外部评分分开,区分标量好感度、响应级别VAD和目标导向VAD,并通过情感护照报告概况。三个经验层支持该契约。 H1 显示标量好感度不包含唤醒和支配:效价结果经过交叉验证(rV = 0.944 判断者,rV = 0.954 评分者);唤醒和优势是单评分者方向估计,而不是点精确,与这些轴上已知的注释者间难度一致(人类注释者中 rA = 0.495,rD = 0.702)。 H2 显示整体响应和目标导向的 VAD 是不同的契约:相同的文本可以总体上承载一种情感基调,同时以不同的方式表示指定的目标。 H3 是一种协议漂移诊断:引发条件转变概况,在每个情感报告中激发上下文元数据。这些结果促使以实体为中心的情感分析成为一种记录在案的实践:发布的分析应包含评分者身份、覆盖范围、协议和解释限制。