ReGraph：从食物图像学习生成食谱图

近来大型多模态模型（LMM）在从食物图像生成食谱方面表现出色。然而，烹饪是一个结构化的转化过程：食材经由有序动作发生状态变化，而自由格式的食谱语言使相应实体、中间状态和依赖关系在很大程度上隐式且相互纠缠。图表示使这类程序性知识显式化且可组合，为评判模型输出是否编码了过程级知识（而非仅仅呈现看似合理的文字描述）提供了结构化基础。针对这一局限，我们提出ReGraph，一个大规模食谱图数据集：将食材、烹饪动作和工具表示为实体，用实体属性描述食材状态变化，并用类型化关系编码操作对象、去向与流程顺序。ReGraph还纳入显式的食谱推理思维链（RR-CoT）轨迹，为程序分解与结构化图生成提供辅助监督。基于ReGraph，我们提出食谱图学习（RGL），一个两阶段框架，使LMM能以结构化食谱图的形式从食物图像生成合理且细粒度的烹饪工作流。在确定性、模式感知的匹配协议下，实验揭示了文本生成质量与可恢复程序结构之间的显著差距：现有方法生成的食谱在文本生成分数上颇具竞争力，但在ReGraph模式下与参考对齐的实体和关系结构有限。相比之下，在两个代表性LMM骨干上，RGL持续改进烹饪实体与程序关系的生成；我们的分析进一步表明，细粒度食材状态捕捉仍是最具挑战性的维度。