Comfyui工作流原理 你都了解吗
发布时间:2024年06月06日
ComfyUI 是 一个基于节点流程的 Stable
Diffusion 操作界面,可以通过流程,实现了更加精准的工作流定制和完善的可复现性。
每一个模块都有特定的的功能,我们可以通过调整模块连接达到不同的出图效果。
但节点式的工作流也提高了一部分使用门槛。
同时,因为内部生成流程做了优化,生成图片时的速度相较于 webui 有明显提升,对显存要求也更低(4G 就能很好的运行)。
“
Comfyui的优势
1.对显存要求相对较低,启动速度快,出图速度快;
2.具有更高的生成自由度;
3.可以和 webui 共享环境和模型;
4.可以搭建自己的工作流程,可以导出流程并分享给别人,报错的时候也能清晰的发现错误出在哪一步;
5.生成的图片拖进后会还原整个工作流程,模型也会选择好。
“
Comfyui工作流原理
ComfyUI工作流是一个基于图形节点编辑器的工作流程,通过拖拽各种节点到画布上,连接节点之间的关系,构建一个从加载模型到生成图像的工作流程。
每个节点代表一个Stable Diffusion相关的模型或功能,节点之间通过连线传递图片信息。
ComfyUI工作流从加载模型开始,加载模型节点负责加载训练好的Stable Diffusion模型。
然后,通过CLIP Text Encode节点对输入的关键词Prompt进行处理,将文本转换为图像描述,并生成一个初始的Latent Image。
接下来,进入采样器和VAE解码节点,这两个节点的作用是将初始的Latent Image进行采样和编码解码,得到生成的图像。
在采样器节点中,输入的Latent Image会被转换为一系列小块(patches),并使用VAE模型进行解码和生成图像。
最后,生成的图像会通过连线传递到下一个节点进行进一步处理或输出。
在ComfyUI中,除了通过填写参数的方式进行参数设置和控制生成过程外,还可以通过观察各节点的状态和数据流运转过程来理解生成式AI模型(Stable
Diffusion)的基本原理。
出自:https://mp.weixin.qq.com/s/C5Zhu6fTW7bMC5FQc76kKw
智谱AI开放平台,GPT人工智能模型,基于领先的千亿级多语言、多模态预训练模型,打造高效率、通用化的“模型即服务”AI开发新范式。