开源项目

ComfyUI:v0.12.0引入自适应模型加载

Comfy-Org/ComfyUI

模型推理推理加速

概述

ComfyUI是Comfy-Org维护的开源节点图框架,用户以可复用节点图和API编排模型工作流,采用AGPL-3.0许可并提供安装入口。2月发布的v0.12.0引入自适应模型加载机制,实质改变了内存与显存的管理方式,并新增LLM KV缓存支持。对在显存受限环境运行大模型工作流的用户,自适应加载减少了手动调配资源的负担,KV缓存也为涉及LLM的环节提供了显存层面的优化基础。