首页 > Ai资讯 > Ai知识库 > Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

发布时间:2024年06月06日

ComfyUI 是一个基于节点流程式的stable diffusion AI 绘图工具WebUI,界面版块基本和stable diffusion一样,只是每个版块被拆分成节点,可以灵活控制连接,这样的工作流和完善的可复现性,用户可以精准的控制每个版块的设置,达到控制变量的目的,但节点式的工作流也提高了一部分使用门槛。用过3D渲染的同学应该对这种节点控制的布局很熟悉。

IMG_256

方便大家看,我把板块调整为竖版,有一定SD基础的同学可以看到这其实就是SD的界面板块打散:

IMG_257

ComfyUI有以下特点:

优点:

1.上限高,更适合复杂长线的大型工作

2模块化工作流

3.可视化

4.启动速度快、运行速度快

5.对硬件无要求,CPU可运行

6.可排队运行任务

7.工作流只需搭建一次可直接保存

8.是根据SD原理直接建立的操作界面

9.可以自己设计需要的模块和模组,代码友好

10.ctrlnet等主流插件都支持。还提供webui无法支持的功能,比如接通ChatGPT、翻译等的特殊模块组,

缺点(相信以后会慢慢完善的):

1.上手难度高

2.一些插件还未被写成运行模块

二、ComfyUI下载安装

原生网址:https://github.com/comfyanonymous/ComfyUI

BUPZHO大佬的汉化包:https://github.com/ZHO-ZHO-ZHO/ComfyUI-ZHO-Chinese

今天是直接用到的ZHO的汉化包,有精简版和标准版,我用的是标准版,此安装包文末领取。

注意:为了控制压缩包的大小,整合包内没有放置SD模型,

需要自己把模型到models\checkpoints里,或选择与WebUI模型路径共享),如果已经部署SD了,可以通过路径共享,方法是:

1、在ComfyUl文件夹中找到extra model paths.yamlexample文件右键用记事本打开文件;

2、把里面“path/to/stable-diffusion-webui/”换成你放置WebU模型的文件夹路径(路径中不要出现中文),切记,要改为SD的根目录

IMG_260

3、点击文件-保存;

4关闭文件,右键重命名文件,把名称中的.example去掉,变为extra model paths.yaml。重启之后,主模型加载器就会自动加载到模型。

安装好了之后,可以启动了,这里有两种启动方式:

1CPU启动;

2GPU英伟达显卡启动,显卡好的话就用这个。

另外,后期Comfy更新升级可以用,主目录下的update文件夹里面的升级脚本升级。

IMG_263

二、ComfyUI基础流程

启动后,界面是空白的,模块没有在界面上显示,需要自定义添加。

IMG_264

这时候有两种方法可以执行,推荐第二种。

1、鼠标右键,自主添加生成图片需要的模块;

可以直接用ZHO汉化的模块组:

IMG_266

界面上就会弹出对应的窗口,刚刚加的是主模型加载器。

也可以鼠标双击界面,弹出搜索窗口,直接搜索常用版块:

IMG_268

一般会有主模型/提示词(clip模型)/采样器/初始潜空间(参数设置)/VAE解码器/图像保存。

通过节点把每一个板块连接起来,鼠标点住节点不松,拖拽就会分裂衍生一个节点,以串联下一个节点。

2、直接加载现有的工作流

安装包里面准备了一些个人的工作流,当然我们也可以自己设置好,保存工作流,下次直接使用,下面是直接加载默认工作流后的界面。

IMG_271

工作流确认好了之后,就可以生成图片了,这边用的是文生图,那先试一下生成一只猫:

1、确认模型:

IMG_272

2、简单写一下提示词:

IMG_273

3、设置尺寸和批次:

IMG_274

4、设置采样等参数

IMG_275

可以看到这里多了一个降噪的参数设置

5、设置图形名称相关的

IMG_276

6、点击右下角生成

IMG_278

图片保存在这里:\Zho_Chinese_ComfyUI_windows_portable\ComfyUI\output

设置流程基本上和SD一样,速度会相对快很多。

三、其他补充说明

1设置按钮

可以根据个人需求做一些调整:

IMG_281

2、快捷指令

按键绑定

说明

Ctrl + Enter

将当前图形排队以供生成

Ctrl + Shift + Enter

将当前图形排列为第一个生成图形

Ctrl + S

保存工作流程

Ctrl + O

加载工作流

Ctrl + A

选择所有节点

Ctrl + M

禁用/取消禁用选定节点

删除/退格

删除选定的节点

ctrl+Delete/退格键

删除当前图形

Space

按住并移动光标时,四处移动画布

Ctrl/Shift +单击

将单击的节点添加到选择中

Ctrl + C/Ctrl + V

复制并粘贴选定的节点(不保持与未选定节点输出的连接)

Ctrl + C/Ctrl + Shift + V

复制并粘贴选定的节点(保持未选定节点的输出与粘贴节点的输入之间的连接)

Shift +拖动

同时移动多个选定的节点

Ctrl + D

加载默认图表

Q

切换队列的可见性

H

切换历史的可见性

R

刷新图表

双击LMB

打开节点快速搜索选项板

对于macOS用户,Ctrl也可以替换为Cmd

3、提示词权重

使用()来更改单词或短语的权重,如:(prompt:1.2)(promp:0.8)()的默认强调值为1.1倍。要在实际提示中使用()字符,请像\(\)一样对它们进行转义。

对于通配符/动态提示,可以使用{day|night}。对提示进行排队时,前端会随机将“{wild|card|test}”替换为“wild”、“card”或“test”。要在实际提示中使用{}个字符,请像:\{\}那样转义它们。

关于ComfyUI的入门介绍就先到这里,后面再做详细的应用操作分析那个,大家赶紧试一下吧。

也许有人会说连SD还没摸清楚,一下子出来这么多,哪里学得完啊,其实多种同类型的软件的竞争,恰恰会促进产品的体验和功能升级,受益的还是我们玩家,在深度学习某个适合自己的软件的时候,适当的了解一下同类型的产品,还是可以扩展一下自己的思维宽度的。

出自:https://mp.weixin.qq.com/s/JCSwBZwMatAf2w5nPYccgA