PIPE-Cypher: 面向文本到Cypher系统的企业级基准自动生成
摘要
PIPE-Cypher是一个管道,能够从实时属性图和种子查询中自动生成平衡的自然语言到Cypher基准,利用模式分析、反向查询接地和本地LLM评判等技术,创建具有区分性且与部署相关的基准。
查看缓存全文
缓存时间: 2026/06/09 08:41
论文页面 - PIPE-Cypher:面向文本到Cypher系统的自动企业基准生成
来源:https://huggingface.co/papers/2606.08481
摘要
一种本地基准生成流水线可将实时属性图与种子查询转化为平衡的自然语言到Cypher数据集,服务于企业知识图谱,融合了模式分析、反向查询基础化、执行验证等技术。
企业属性图在模式结构、内部术语、领域假设、治理约束及用户交互模式上差异显著。因此,与部署场景相关的Text2Cypher基准需反映用户和智能体实际对该图提出的问题。创建此类基准困难重重,因为模式与值具有唯一性,且图结构随时间变化。每个自然语言-查询对还必须可执行、使用真实图实体、保持多样性,并在查询类型与难度级别上维持平衡。我们提出PIPE-Cypher,一种本地基准生成流水线,可将实时属性图以及来自客户问题、分析师日志或智能体工具调用的可选种子查询转化为平衡的自然语言到Cypher基准。PIPE-Cypher结合了模式分析、反向查询基础化、受限生成、确定性Cypher治理、执行验证、脱敏、多样性控制以及经过校准的本地LLM评判器。利用本地Qwen3.5-9B进行生成与评判,PIPE-Cypher导出了3000个可接受的FinBench/SNB示例,完成了三个经审计的消融套件,使用人工标签校准了评判器行为,并评估了11个本地下游模型。由此产生的基准具有刻意区分性:零样本迁移效果弱,而少量样例控制实验表明,特定模式的示例库有助于兼容模型族群。综上所述,PIPE-Cypher使Text2Cypher基准测试成为可重复的过程,并随图、其用户及其目标工作负载同步演进。
查看arXiv页面 (https://arxiv.org/abs/2606.08481)查看PDF (https://arxiv.org/pdf/2606.08481)GitHub0 (https://github.com/suraj-ranganath/PIPE-Cypher)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.08481)
在智能体中获取此论文:
hf papers read 2606\.08481
还没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
没有模型链接此论文
请在模型README.md中引用 arxiv.org/abs/2606.08481 以从此页面链接。
引用此论文的数据集0
没有数据集链接此论文
请在数据集README.md中引用 arxiv.org/abs/2606.08481 以从此页面链接。
引用此论文的Spaces0
没有Space链接此论文
请在Space README.md中引用 arxiv.org/abs/2606.08481 以从此页面链接。
包含此论文的收藏0
没有收藏包含此论文
请将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接。
相似文章
KG2Cypher:用于构建企业级文本到Cypher系统的数据驱动管道
KG2Cypher 提出了一种数据驱动管道,利用现有知识图谱构建企业级文本到Cypher系统。它使用LLM生成自然语言问题-Cypher对,并通过LLM评估器和人工审核进行验证,通过基于LoRA的微调在韩语企业数据集上取得了显著的性能提升。
CYGNET:用于神经执行分类与成本控制的 Cypher 网关
CYGNET 是一个预执行网关系统,用于验证和修正 LLM 智能体在知识图谱上生成的 Cypher 查询,在查询到达生产数据库之前捕获结构性错误,误报率接近于零,并在五个语言模型上实现了 81–95% 的破损查询修复成功率。
通过基于知识图谱的数据生成实现精确的文本到Cypher转换
本文提出了一种合成数据生成方法,用于微调小型LLM,将自然语言转换为属性图的Cypher查询,在实现本地部署和数据主权的同时,达到了与大型专有模型相竞争的性能。
buildpipe
Buildpipe 是一个用于组合、运行和自动化多步骤 AI 开发者工作流的工具。
REAP: 从交互式生产使用中自动策划编码代理基准 [R]
REAP是一个自动化管道,从真实的开发者-代理会话中策划生产环境衍生的编码代理基准,利用基于LLM的分类和稳定性检查,确保无需手动标注的可靠评估。