检索关系、识别谬误：基于RAG的政治辩论分析方法

谬误是采用无效推理的论点，因此自动检测它们在敏感环境中至关重要，例如影响公众舆论的高风险政治辩论。发现一个错误的论点需要超越其纯粹表面文本的上下文知识。这需要与所讨论的主题有关的世界知识，以及辩论性话语中论点之间存在的关系的知识。先前关于谬误分析的工作表明，论证性话语结构可以有益地提高分类性能。然而，这种结构通常仅被编码为静态分类器特征，限制了其灵活性。基于这种直觉，同时解决这一限制，我们引入了一种用于谬误检测和分类的引导检索增强方法，该方法利用支持和攻击的论证关系来动态引导相关文档的提取。我们在 ElecDeb60to20 基准上评估我们的方法，涵盖 42 个检索配置和 14 个模型，对收集的政治相关文档的 15GB 知识库进行检索。我们的方法将谬误检测的宏观 F1 提高到 0.864，将非检索基线的分类提高到 0.725。这些结果表明，当检索受到争论指导时，结合外部知识可以显着增强谬误检测和分类。