PIPE-Cypher：文本到密码系统的自动企业基准生成

企业属性图在模式结构、内部术语、领域假设、治理约束和用户交互模式方面差异很大。因此，与部署相关的 Text2Cypher 基准反映了用户和代理实际对该图提出的问题。创建这样的基准很困难，因为模式和值是唯一的，并且图结构会随着时间的推移而变化。每个 NL 查询对还必须是可执行的，使用真实的图实体，保留多样性，并在查询类型和难度级别之间保持平衡。我们推出了 PIPE-Cypher，这是一个本地基准生成管道，可将来自客户问题、分析师日志或代理工具调用的实时属性图和可选种子查询转换为平衡的 NL 到 Cypher 基准。 PIPE-Cypher 结合了模式分析、反向查询基础、约束生成、确定性 Cypher 治理、执行验证、编辑、多样性控制和校准的本地 LLM 判断。使用本地 Qwen3.5-9B 生成和判断，PIPE-Cypher 导出 3,000 个接受的 FinBench/SNB 示例，完成三个经过审计的消融套件，用人类标签校准判断行为，并评估 11 个本地下游模型。由此产生的基准故意具有歧视性：零样本传输很弱，而少数样本控制表明特定于模式的示例库可以帮助兼容的模型系列。 PIPE-Cypher 共同使 Text2Cypher 基准测试成为一个可重复的过程，该过程随着图、用户和目标工作负载的变化而发展。