PIPE-Cypher: 面向文本到Cypher系统的企业级基准自动生成

Hugging Face Daily Papers 论文

摘要

PIPE-Cypher是一个管道,能够从实时属性图和种子查询中自动生成平衡的自然语言到Cypher基准,利用模式分析、反向查询接地和本地LLM评判等技术,创建具有区分性且与部署相关的基准。

企业属性图在模式结构、内部术语、领域假设、治理约束和用户交互模式方面差异很大。因此,与部署相关的Text2Cypher基准反映了用户和代理实际针对该图提出的问题。创建这样的基准很困难,因为模式和值是唯一的,而且图结构随时间变化。每个自然语言-查询对必须可执行,使用真实图实体,保持多样性,并在查询类型和难度级别上保持平衡。我们提出了PIPE-Cypher,一个本地基准生成管道,它将实时属性图和可选的种子查询(来自客户问题、分析师日志或代理工具调用)转化为平衡的自然语言到Cypher基准。PIPE-Cypher结合了模式分析、反向查询接地、约束生成、确定性Cypher治理、执行验证、编辑、多样性控制和一个校准过的本地LLM评判器。使用本地的Qwen3.5-9B进行生成和评判,PIPE-Cypher导出了3,000个经过验收的FinBench/SNB示例,完成了三个经审计的消融套件,用人工标签校准了评判器行为,并评估了11个本地下游模型。生成的基准故意具有区分性:零样本迁移效果较弱,而少样本控制表明,特定模式的示例库可以帮助兼容的模型家族。总之,PIPE-Cypher使Text2Cypher基准测试成为一个可重复的过程,与图、其用户及其目标工作负载共同演进。
查看原文
查看缓存全文

缓存时间: 2026/06/09 08:41

论文页面 - PIPE-Cypher:面向文本到Cypher系统的自动企业基准生成

来源:https://huggingface.co/papers/2606.08481

摘要

一种本地基准生成流水线可将实时属性图与种子查询转化为平衡的自然语言到Cypher数据集,服务于企业知识图谱,融合了模式分析、反向查询基础化、执行验证等技术。

企业属性图在模式结构、内部术语、领域假设、治理约束及用户交互模式上差异显著。因此,与部署场景相关的Text2Cypher基准需反映用户和智能体实际对该图提出的问题。创建此类基准困难重重,因为模式与值具有唯一性,且图结构随时间变化。每个自然语言-查询对还必须可执行、使用真实图实体、保持多样性,并在查询类型与难度级别上维持平衡。我们提出PIPE-Cypher,一种本地基准生成流水线,可将实时属性图以及来自客户问题、分析师日志或智能体工具调用的可选种子查询转化为平衡的自然语言到Cypher基准。PIPE-Cypher结合了模式分析、反向查询基础化、受限生成、确定性Cypher治理、执行验证、脱敏、多样性控制以及经过校准的本地LLM评判器。利用本地Qwen3.5-9B进行生成与评判,PIPE-Cypher导出了3000个可接受的FinBench/SNB示例,完成了三个经审计的消融套件,使用人工标签校准了评判器行为,并评估了11个本地下游模型。由此产生的基准具有刻意区分性:零样本迁移效果弱,而少量样例控制实验表明,特定模式的示例库有助于兼容模型族群。综上所述,PIPE-Cypher使Text2Cypher基准测试成为可重复的过程,并随图、其用户及其目标工作负载同步演进。

查看arXiv页面 (https://arxiv.org/abs/2606.08481)查看PDF (https://arxiv.org/pdf/2606.08481)GitHub0 (https://github.com/suraj-ranganath/PIPE-Cypher)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.08481)

在智能体中获取此论文:

hf papers read 2606\.08481

还没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

请在模型README.md中引用 arxiv.org/abs/2606.08481 以从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

请在数据集README.md中引用 arxiv.org/abs/2606.08481 以从此页面链接。

引用此论文的Spaces0

没有Space链接此论文

请在Space README.md中引用 arxiv.org/abs/2606.08481 以从此页面链接。

包含此论文的收藏0

没有收藏包含此论文

请将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接。

相似文章

CYGNET:用于神经执行分类与成本控制的 Cypher 网关

arXiv cs.CL

CYGNET 是一个预执行网关系统,用于验证和修正 LLM 智能体在知识图谱上生成的 Cypher 查询,在查询到达生产数据库之前捕获结构性错误,误报率接近于零,并在五个语言模型上实现了 81–95% 的破损查询修复成功率。

buildpipe

Product Hunt

Buildpipe 是一个用于组合、运行和自动化多步骤 AI 开发者工作流的工具。

ProgramBench(5分钟阅读)

TLDR AI

ProgramBench 是一项全新的基准测试,用于评估 AI 智能体在无法获取源代码或反编译工具的情况下,仅凭编译后的二进制文件和文档重建完整软件项目的能力。