具有联合拓扑和内容解码的专利权利要求的指针增强自回归生成

自回归解码器发出平面词元序列，并且无法在输出段之间强制执行分层约束，这种限制在专利权利要求生成中变得很严重，其中权利要求集形成依赖关系森林，其范围必须随深度单调缩小。拓扑和内容是相互依赖的：从属权利要求的措辞必须反映其父项的范围，但父项必须在该措辞存在之前选择，因此事后解析和语法约束解码都不够。我们提出了 SPG（结构感知专利生成），它可以预测自回归通道内的拓扑。指针头选择每个从属权利要求的父项，其梯度与深度自适应范围正则器一起在训练期间重塑共享解码器的表示。然后，第二阶段对自行生成的有缺陷的候选者应用违规加权偏好目标，提供授予专利语料库所缺乏的负面信号。在 HUPD-DCG 上，Llama-3-8B-Instruct 上的 SPG 恢复了 79.0% 的标准父链接，这是其训练奖励从未监督的数量，并且在同等规模的监督基线上将先行一致性从 0.292 提高到 0.478，专家评估证实了这些收益。