ComfyUI 基础教程(二):文生图基础流程
发布时间:2024年06月06日
.
.
.
.
一、文生图(text2img)使用步骤
.
在构建text2img网络时,我们分为三个关键阶段:Clip阶段(黄色)、Unet阶段(红色)、以及Vae解码阶段(绿色)。
在这个过程中,节点的创建方式有两种:节点目录方式:通过鼠标右键呼出节点目录,你可以直接从目录中选择所需的节点。
.
.
.
.节点搜索窗口方式:双击鼠标呼出节点搜索窗口,如果你知道节点的名称,可以直接搜索,节省时间。
.
.
.
.一旦节点被创建并连接好,你可以点击面板右侧的工具栏中的
"Queue Prompt",开始生成图片。这个选项位于工具栏的最上方。
.
.4.要创建连接线,只需使用鼠标点击并拖动节点上的输出输入点即可完成。
.
.
.通常,节点网络包括以下几个阶段:
.大模型加载器:
.首先,右键点击新建节点,选择加载器。你会看到许多加载器选项,它们的名称应该很熟悉。我们将使用的是“Checkpoint加载器(大模型加载器)”。
.在“Checkpoint名称”位置,选择我们需要的模型。
.
.
.
.文本输入节点(CLIP 文本编码器):
.接下来,我们需要添加关键词输入节点。CLIP 文本编码器它没有正面和负面关键词的区分,它们都使用一个名为“CLIP 文本编码器”的节点。
.我们使用相同的方法,右键点击新建节点,然后选择条件,再选择CLIP文本编码器。我们需要添加两个CLIP文本编码器,一个用于输入正面关键词,另一个用于输入负面关键词。
.
.由于没有区分正面和负面关键词,我们可以自行修改名称和颜色,以区分它们。在节点上方,右键点击标题,输入名称后确定即可。同样,可以右键点击颜色来修改节点颜色。
.
.此时你可能会注意到“Checkpoint加载器”和“CLIP文本编码器”上都有一个黄色的连接点,它们都被命名为“CLIP”。我们将它们连接起来,只需将鼠标悬停在其中一个上面,会出现十字标识,然后按住鼠标左键并拖动到另一个节点的相应位置即可连接。
.
.注意:我们的Checkpoint加载器只有一个CLIP连接点,而我们需要连接正面和负面提示词。这里需要理解,一个节点可以有多个输出连接点,但作为输入节点,它只能连接一个。
.
.采样器:
.右键点击采样,选择普通采样器。
.ksampler节点负责在潜空间生成图片。与Web界面中的生成参数基本相同。
.
.a. 随机种子:每张图都有一个随机的编号。
.b. 运行后操作:种子可以是固定、增加(在原来的种子值上+1)、减少、随机。通常我们使用固定和随机。
.c. 步数:设置我们生成这张图需要去除噪音的次数。
.d. CFG:提示词引导系数,值越大,生成的图像越符合提示词。通常在8左右就足够了。
.e. 采样器:有多个选项可供选择。我们需要在使用Web UI时进行选择。我会在后面的时间里逐一介绍它们的区别。通常我会选择euler_ancestral(Web UI中的Eulera)、dpmpp_2m(DPM++ 2m)、dpmpp_2m_sde_gpu。
.f. 调度器:每一次迭代步数中控制噪声量大小的因素。一般我们选择normal或karras。
.g. 降噪:与步数有关,1表示我们完全按照上方输入的步数进行处理,0.1表示10%。在这里我们填写1。
.此时,左侧会显示四个可连接点:“模型”、“正面提示词”、“负面提示词”和“Latent”。
.分别将“模型”和“Checkpoint加载器的模型”连接,“正面提示词”和“正面提示词的条件”连接,“负面提示词”和“负面提示词的条件”连接。此时还剩下一个“Latent”连接点,我们将其用于连接控制生成图像宽高的节点。
.
.宽高(空Latent):
.点击“Latent”并拖动到外部,然后选择“空Latent”以添加节点并进行连接。
.
.
.
.VAE解码:
.在Vae解码阶段,生成的图片从潜空间转换成RGB色彩空间。解码节点可以链接不同的VAE以获得不同的解码结果。
.右键点击新建节点,选择Latent,然后选择VAE解码。你也可以直接拖动方式添加。
.将“VAE解码的Latent”连接到“采样器的Latent”上,此时左侧会剩下一个VAE。
.我们可能注意到,“Checkpoint加载器”还剩下一个“VAE”未连接,我们将它与另一个VAE连接起来。可以选择直接连接大部分大模型中包含的VAE模型。
.
.
.
.保存图像:
.右键点击新建节点,选择图像,然后选择保存图像(或者直接拖动添加)。
.这里有两种选择:“保存图像”和“预览图像”。
.预览节点用于预览图片,但不会保存它们。
.保存图像具有将生成的图像保存到“ComfyUI下的output”文件夹的功能。
.
.
.
2.生成图片
.
现在,我们已经连接了所有节点,接下来输入关键词,调整模型、LORA,VAE,步数、宽高等参数。然后,点击右侧设置面板中的“提示词队列”,或者使用快捷键“Ctrl+Enter”来生成图像。
在生成图像的过程中,你可以看到当前进行到哪一步,哪一个节点会被显示为绿色的框,这非常方便我们熟悉工作流程。
出自:https://mp.weixin.qq.com/s/BjH9O0o_3P4_5C_cPqdS_Q
《动手学深度学习》:面向中文读者、能运行、可讨论