论文
验证FKG.in:评估大语言模型增强印度食品知识的可靠性
Validating FKG.in: Soundness Assessment in LLM-Augmented Indian Food Knowledge
摘要
在线烹饪生态系统越来越多地充斥着由大语言模型 (LLM) 生成、修改或总结的菜谱内容。虽然通常看似合理,但此类输出可能包含幻觉成分、歪曲数量或文化上不可信的组合,限制了它们对下游应用和知识图构建的适用性。在本文中,我们提出了一种半自动健全性评估工作流程,用于验证LLM从非正式烹饪来源提取和增强的结构化食谱数据。该管道是作为印度食品知识图 FKG(.in) 的一部分开发的,通过结合形式语法、基于词汇的检查、统计启发式、基于 Set Transformer 的一致性建模和基于检索的验证的多阶段过程,识别并解决常见的故障模式,包括结构不一致、语义和逻辑不一致以及与源文本的偏差。尽管对印度食谱进行了评估,但所提出的方法适用于更广泛的多语言和多文化烹饪领域。我们提供了一个实用的、可审计的、与应用程序无关的框架来验证LLM增强的食谱数据,从而加强LLM生成内容时代机器可读食品知识基础设施的基础。
