指针增强的自回归生成专利权利要求与联合拓扑和内容解码

arXiv cs.CL 论文
autoregressive-generation patent-claims topology-decoding pointer-network nlg ai-research llama

摘要

本文提出SPG，一种结构感知的专利生成方法，在自回归解码过程中通过指针头和偏好优化阶段联合预测权利要求拓扑和内容，在HUPD-DCG基准测试中显著提升了父链接恢复和先行词一致性。

arXiv:2607.24040v1 公告类型: new 摘要: 自回归解码器输出扁平的令牌序列，无法在输出段之间强制执行层次约束，这一限制在专利权利要求生成中尤为突出，因为权利要求集形成一个依赖森林，其范围必须随深度单调递减。拓扑和内容相互依赖：从属权利要求的措辞必须反映其父项的范围，但父项必须在措辞存在之前被选择，因此事后解析或语法约束解码均不足以解决。我们提出SPG（结构感知专利生成），其在自回归过程中预测拓扑。一个指针头选择每个从属权利要求的父项，其梯度与深度自适应范围正则化器一起，在训练期间重塑共享解码器的表示。第二阶段对自我生成的有缺陷候选者应用违反加权偏好目标，提供授权专利语料库缺乏的负信号。在HUPD-DCG上，基于Llama-3-8B-Instruct的SPG恢复了79.0%的金标准父链接，而其训练奖励从未监督过该数量；与同等规模的监督基线相比，将先行词一致性从0.292提高到0.478，专家评估证实了这些增益。
查看原文
查看缓存全文

缓存时间: 2026/07/28 06:31 

# 基于指针增强的自回归专利权利要求生成：联合拓扑与内容解码
来源：https://arxiv.org/abs/2607.24040
查看 PDF (https://arxiv.org/pdf/2607.24040)

> 摘要：自回归解码器生成扁平化的令牌序列，无法在输出片段间强制执行层级约束——这一局限在专利权利要求生成中尤为突出，因为一组权利要求形成一个依赖森林，其范围必须随深度单调收窄。拓扑与内容相互依赖：从属权利要求的措辞必须反映其父权利要求的范围，而父权利要求必须在措辞存在之前选定，因此事后解析或语法约束解码均不足以解决问题。我们提出 SPG（结构感知专利生成），它在自回归过程中预测拓扑结构。一个指针头选择每个从属权利要求的父节点，其梯度与深度自适应范围正则化器共同在训练期间重塑共享解码器的表示。第二阶段则对自我生成的缺陷候选施加违反加权偏好目标，提供授权专利语料库所缺乏的负信号。在 HUPD-DCG 上，基于 Llama-3-8B-Instruct 的 SPG 恢复了 79.0% 的真实父链接（训练奖励从未对此进行监督），并将先行词一致性从 0.292 提升至同等规模监督基线的 0.478，专家评估证实了这些改进。

## 提交历史

来自：Yoo Yongmin \[查看电子邮件 (https://arxiv.org/show-email/989d59ce/2607.24040)\] **\[v1\]**2026年7月27日，星期一 06:27:14 UTC（7,179 KB）

相似文章

D-PACE: 面向并行推测草稿的动态位置感知交叉熵

arXiv cs.LG

本文介绍了D-PACE，一种用于训练推测解码草稿模型的动态位置感知交叉熵损失，该损失函数自适应地加权位置以提升接受长度和推理速度，在各基准测试中实现一致的加速比，且开销极低。

上下文优化下的检索增强生成：从梯度下降视角

arXiv cs.CL

本文研究检索增强生成作为上下文优化过程，表明线性自注意力可以在统一的RAG目标上实现梯度下降。它提出了一种轻量级方法，适用于冻结的RAG大语言模型，通过预测上下文条件的更新，在多个问答基准上提升了性能。