以知识为中心的ComfyUI工作流生成智能体

ComfyUI等视觉创作系统中的工作流生成不仅要求语法正确，还要求对模块化组合做专家级推理。现有大语言模型（LLM）方法常把它当作直接的文本到JSON生成任务，难以避免结构脆弱，也缺少有效设计所需的经验知识。我们认为，成功的工作流生成需要对知识本身建模，包括其结构、层级与推理动态。为此，我们提出一个以知识为中心的框架，学习在多个抽象层级上反转、注入与推断知识。我们首先执行知识反转，从大量真实工作流中蒸馏出层级化表示——从完整伪代码与骨架到高层策略；随后通过监督微调进行知识注入，教模型从任务描述推理出策略、再从策略推理出可执行结构；推理时模型执行可逆推理以合成可执行工作流，并以自完善增强结构连贯性。大量实验表明，我们的方法生成的节点多样性更丰富、结构更连贯、执行成功率更高，为知识驱动的智能体工作流生成确立了新基础。