根据发明人式披露对专利撰写进行基准测试

虽然最近的 大语言模型 (LLM) 在个别专利撰写任务上取得了可喜的成果，但它们从根本上未能研究现实世界专利撰写的核心挑战：直接从早期发明材料生成完整且法律上一致的专利申请。先前的工作主要假设后期、高度结构化或已经合法化的输入。然而，真正的专利申请工作流程始于发明人撰写的非正式、非合法化的披露。为了弥补这一差距，我们引入了 Dis2Pat，这是一个从公开到专利的数据集，它通过要求直接从发明人式的非合法化公开生成完整的专利申请来反映现实的专利工作流程。考虑到长篇、法律约束的专利起草的固有困难以及强烈的隐私要求，我们进一步提出了一个名为 Patent-MAF 的强大基线。它是一个用于本地部署专利起草的多代理框架。基准结果显示，当前的 LLM 在专利起草方面表现出局限性，而 Patent-MAF 提供了一个强大的基准，始终优于评估的开源模型，并与大型闭源模型保持竞争力。