通过计算论证评估 LLM 驱动的议会辩论总结

了解政策如何在议会中进行辩论和论证是民主进程的一个基本方面。然而，此类辩论的数量和复杂性意味着外部观众很难参与其中。同时，大语言模型 (LLM) 已被证明可以实现大规模自动摘要。虽然辩论摘要可以使议会程序更容易理解，但评估这些摘要是否忠实地传达了辩论内容仍然具有挑战性。现有的自动摘要指标已被证明与人类对一致性的判断（即 忠实性 或摘要与源之间的对齐）相关性较差。在这项工作中，我们提出了一个评估议会辩论摘要的正式框架，该框架将辩论的争议提案中的论证结构作为基础。我们的新颖方法由计算论证驱动，重点评估形式属性，这些属性涉及忠实保存为证明或反对政策结果而提出的推理。我们使用欧洲议会辩论的案例研究和相关的 LLM 驱动的摘要来展示我们的方法。