论文

CIG:利用语义记忆动态测量协商对话中的对话信息增益

CIG: Measuring Conversational Information Gain in Deliberative Dialogues with Semantic Memory Dynamics

模型评测评测方法与指标

摘要

衡量公共审议的质量不仅需要评估礼貌或论证结构,还需要评估对话的信息进展。我们引入了一个会话信息增益(CIG)框架,该框架根据每个话语如何促进对目标主题的集体理解来评估每个话语。为了操作 CIG,我们对讨论的不断演变的语义记忆进行建模:系统从话语中提取原子声明,并逐步将它们整合到结构化记忆状态中。使用这种记忆,我们沿着三个可解释的维度对每个话语进行评分:新颖性、相关性和含义范围。我们用这些维度注释了两个经过调节的审议环境(电视辩论和社区讨论)中的 80 个片段,并表明,与话语长度或 TF-IDF 等传统启发法相比,记忆衍生的动态(例如声明更新的数量)与人类感知的 CIG 的相关性更强。我们开发了基于 LLM 的有效 CIG 预测器,为对话和协商成功中以信息为中心的对话质量分析铺平了道路。