PatRe：专利审查的全阶段审查行动和反驳生成基准

专利审查是一个复杂的、多阶段的过程，需要技术专业知识和法律推理，并且随着申请量的增加而面临越来越大的挑战。先前的基准主要将专利审查视为判别式分类或静态提取，未能捕捉到其固有的交互和迭代性质，类似于学术出版中的同行评审和反驳过程。在本文中，我们介绍了 PatRe，这是第一个对整个专利审查生命周期进行建模的基准，包括审查意见通知生成和申请人反驳。 PatRe 包含 480 个真实案例，支持预言机和检索模拟评估设置。我们的基准将专利审查重新定义为一个动态的、多轮的论证和回应过程。各种 LLM 的广泛实验揭示了对模型性能的关键见解，包括专有模型和开源模型之间的差异，以及审查员分析和申请人方反驳之间的任务不对称性。这些发现凸显了 LLM 在专利审查中复杂的现实世界法律推理和技术新颖性判断建模方面的潜在和当前局限性。我们发布代码和数据集，以促进未来专利审查建模的研究。