论文
当证据发生冲突时:具有可靠性意识的元审查生成
When Evidence Conflicts: Reliability-aware Meta-review Generation
摘要
当审稿人的证据相互冲突且可靠性各不相同时,从多个同行评审中生成连贯的元评审就具有挑战性。现有的方法通常将元评审生成制定为多文档摘要任务,并统一汇总审稿人的反馈,这使得很难确定在出现分歧时应优先考虑哪些意见。在本文中,我们通过可靠性感知证据聚合来研究元评论的生成。我们的框架首先从同行评审中提取方面级别的意见,并识别每个方面内相互矛盾的证据。然后,它估计意见级别的支持和评论级别的质量,以衡量证据的可靠性。基于这些信号,该框架为审阅者反馈分配可靠性感知权重,使生成器能够优先考虑支持更好的论点,同时保留不同的观点。实验表明,我们的方法在自动评估和人工评估的强大基线上持续改进了元审查的生成,在高冲突审查场景下的冲突识别和解决方面取得了明显的进展。代码和实现细节可通过此 https URL 公开获得。