论文

关键点分析需要结构恢复:任务定义、数据集诊断和结构感知基准

Key Point Analysis Needs Structure Recovery: Task Definition, Dataset Diagnosis, and a Structure-Aware Benchmark

模型评测基准与评测资源

摘要

关键点分析 (KPA) 旨在确定一组简明的关键点,总结一系列论点及其普遍性。我们认为,KPA 从根本上来说是一个结构化预测问题,需要恢复语义分组、生成代表性关键点、确保覆盖范围并估计流行率。根据这个公式,我们表明现有的 KPA 基准在分组质量、冗余、覆盖范围和参数关键点映射方面受到限制,导致基于参考的评估中的上限违规和选择失败。为了支持未来对真正 KPA 的研究,我们引入了一种通过人机交互重新注释构建的结构感知、分布敏感的基准。人类和 LLM 评估一致表明,与现有注释相比,所得结构产生更连贯的分组、更高质量的关键点、更好的覆盖范围和更可靠的患病率估计。我们进一步发布了一些注释资源来支持 KPA 评估、论点关键点匹配、可解释的 KPA 和 LLM-as-a-judge 方法论的研究,并概述了真正的 KPA 的研究议程。