论文
社会文本参与度和共鸣的社区意识评估:以人为本的用户生成内容评估视角
Community-Aware Assessment of Social Textual Engagement and Resonance: A Human-Centric Perspective on User-Generated Content Evaluation
摘要
传统视频质量评估 (VQA) 狭隘地关注审美保真度,忽视了定义用户生成内容 (UGC) 质量的复杂社会动态。在这项工作中,我们提出了从以信号为中心的指标到以人为中心的共振评估的范式转变。我们引入了 CASTER(社交文本参与和共鸣的社区意识评估),这是一项新任务,根据其多模态属性而不是仅基于视觉质量来评估 UGC 项目是否实现了积极的社区共鸣。为了解决这个问题,我们提出了 MEDEA(多模式参与驱动评估架构),它引入了一种新颖的社交思想链(Social-CoT)机制。与传统的逻辑 CoT 不同,Social-CoT 执行多模式观点采择,在得出质量判断之前实例化不同的观看者角色来模拟集体认知和情感反应(即“社区思想”)。 MEDEA 通过两阶段方法进行训练,包括监督 微调 和带有社会对齐奖励的过程监督强化学习,以确保推理路径基于真实的人类社会认知。为了支持这项任务,我们发布了 CASTER-Bench,这是一个涵盖不同 UGC 类别的综合人工注释基准。实验表明,MEDEA 的性能显着优于 CASTER-Bench 上最先进的基线,同时提供与真实社区反馈相一致的可解释且具有同理心的推理路径。