首页 > Ai资讯 > Ai知识库 > Comfyui工作流原理 你都了解吗

Comfyui工作流原理 你都了解吗

发布时间:2024年06月06日

ComfyUI 一个基于节点流程的 Stable
Diffusion 
操作界面,可以通过流程,实现了更加精准的工作流定制和完善的可复现性。

每一个模块都有特定的的功能,我们可以通过调整模块连接达到不同的出图效果。

但节点式的工作流也提高了一部分使用门槛。

同时,因为内部生成流程做了优化,生成图片时的速度相较于 webui 有明显提升,对显存要求也更低(4G 就能很好的运行)。

Comfyui的优势

1.对显存要求相对较低,启动速度快,出图速度快;

2.具有更高的生成自由度;

3.可以和 webui 共享环境和模型;

4.可以搭建自己的工作流程,可以导出流程并分享给别人,报错的时候也能清晰的发现错误出在哪一步;

5.生成的图片拖进后会还原整个工作流程,模型也会选择好。

Comfyui工作流原理

ComfyUI工作流是一个基于图形节点编辑器的工作流程,通过拖拽各种节点到画布上,连接节点之间的关系,构建一个从加载模型到生成图像的工作流程。

每个节点代表一个Stable Diffusion相关的模型或功能,节点之间通过连线传递图片信息。

ComfyUI工作流从加载模型开始,加载模型节点负责加载训练好的Stable Diffusion模型。

然后,通过CLIP Text Encode节点对输入的关键词Prompt进行处理,将文本转换为图像描述,并生成一个初始的Latent Image

接下来,进入采样器和VAE解码节点,这两个节点的作用是将初始的Latent Image进行采样和编码解码,得到生成的图像。

在采样器节点中,输入的Latent Image会被转换为一系列小块(patches),并使用VAE模型进行解码和生成图像。

最后,生成的图像会通过连线传递到下一个节点进行进一步处理或输出。

ComfyUI中,除了通过填写参数的方式进行参数设置和控制生成过程外,还可以通过观察各节点的状态和数据流运转过程来理解生成式AI模型(Stable
Diffusion
)的基本原理。

出自:https://mp.weixin.qq.com/s/C5Zhu6fTW7bMC5FQc76kKw