论文
对象对齐器:图形的可配置 JSON 模式相似度评分,应用于 LLM 提示优化
Object Aligner: A Configurable JSON Schema Similarity Score for Graphs, Applied to LLM Prompt Optimization
摘要
大语言模型 (LLM) 经常被要求生成符合固定模式的 JSON,为信息提取、工具调用、代理规划和知识图构建提供支持。衡量输出与标准参考的匹配程度至关重要,但却出人意料地困难:精确匹配很脆弱,文本相似性会忽略结构,而 LLM 判断成本高昂、不透明且不确定。我们使用对象对齐器 (OA) 来解决这个问题,这是一个开源 Python 库,它通过递归对齐两个 JSON 对象的树(针对无序集合的匈牙利算法,针对有序集合的序列对齐)并按照模式声明的粒度授予部分信用来确定性地对两个 JSON 对象进行评分。对象对齐器完全通过一组 JSON 模式扩展进行配置,因此使其适应新任务需要注释模式而不是编写代码。然而,复杂的结构化数据很少是扁平树:记录可以形成由任意标识符键入的图或超图,从而打破了先前相似性度量的假设。我们的核心贡献是引用对齐,通过推断黄金标识符和候选标识符之间的双射并通过它对每个引用进行评分来缩小这一差距,因此分数对于重新标记是不变的。由于精确恢复这种双射是图同构,因此对象对齐器通过 Weisfeiler-Leman 颜色细化来近似它。顺序敏感的序列机制以排序和规划为目标。由于相同的对齐方式可以定位每个不匹配,因此对象对齐器会免费发出排名修复建议。对象对齐器用作 GEPA 提示优化器内的奖励,有助于在所有数据集中保持中立。