Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图
发布时间:2024年06月06日
ComfyUI 是一个基于节点流程式的stable diffusion AI 绘图工具WebUI,界面版块基本和stable diffusion一样,只是每个版块被拆分成节点,可以灵活控制连接,这样的工作流和完善的可复现性,用户可以精准的控制每个版块的设置,达到控制变量的目的,但节点式的工作流也提高了一部分使用门槛。用过3D渲染的同学应该对这种节点控制的布局很熟悉。
方便大家看,我把板块调整为竖版,有一定SD基础的同学可以看到这其实就是SD的界面板块打散:
ComfyUI有以下特点:
优点:
1.上限高,更适合复杂长线的大型工作
2模块化工作流
3.可视化
4.启动速度快、运行速度快
5.对硬件无要求,CPU可运行
6.可排队运行任务
7.工作流只需搭建一次可直接保存
8.是根据SD原理直接建立的操作界面
9.可以自己设计需要的模块和模组,代码友好
10.ctrlnet等主流插件都支持。还提供webui无法支持的功能,比如接通ChatGPT、翻译等的特殊模块组,
缺点(相信以后会慢慢完善的):
1.上手难度高
2.一些插件还未被写成运行模块
二、ComfyUI下载安装
原生网址:https://github.com/comfyanonymous/ComfyUI
B站UP主ZHO大佬的汉化包:https://github.com/ZHO-ZHO-ZHO/ComfyUI-ZHO-Chinese
今天是直接用到的ZHO的汉化包,有精简版和标准版,我用的是标准版,此安装包文末领取。
注意:为了控制压缩包的大小,整合包内没有放置SD模型,
需要自己把模型到models\checkpoints里,或选择与WebUI模型路径共享),如果已经部署SD了,可以通过路径共享,方法是:
1、在ComfyUl文件夹中找到extra model paths.yamlexample文件右键用记事本打开文件;
2、把里面“path/to/stable-diffusion-webui/”换成你放置WebU模型的文件夹路径(路径中不要出现中文),切记,要改为SD的根目录;
3、点击文件-保存;
4、关闭文件,右键重命名文件,把名称中的.example去掉,变为extra model paths.yaml。重启之后,主模型加载器就会自动加载到模型。
安装好了之后,可以启动了,这里有两种启动方式:
1、CPU启动;
2、GPU英伟达显卡启动,显卡好的话就用这个。
另外,后期Comfy更新升级可以用,主目录下的update文件夹里面的升级脚本升级。
二、ComfyUI基础流程
启动后,界面是空白的,模块没有在界面上显示,需要自定义添加。
这时候有两种方法可以执行,推荐第二种。
1、鼠标右键,自主添加生成图片需要的模块;
可以直接用ZHO汉化的模块组:
界面上就会弹出对应的窗口,刚刚加的是主模型加载器。
也可以鼠标双击界面,弹出搜索窗口,直接搜索常用版块:
一般会有主模型/提示词(clip模型)/采样器/初始潜空间(参数设置)/VAE解码器/图像保存。
通过节点把每一个板块连接起来,鼠标点住节点不松,拖拽就会分裂衍生一个节点,以串联下一个节点。
2、直接加载现有的工作流
安装包里面准备了一些个人的工作流,当然我们也可以自己设置好,保存工作流,下次直接使用,下面是直接加载默认工作流后的界面。
工作流确认好了之后,就可以生成图片了,这边用的是文生图,那先试一下生成一只猫:
1、确认模型:
2、简单写一下提示词:
3、设置尺寸和批次:
4、设置采样等参数
可以看到这里多了一个降噪的参数设置
5、设置图形名称相关的
6、点击右下角生成
图片保存在这里:\Zho_Chinese_ComfyUI_windows_portable\ComfyUI\output
设置流程基本上和SD一样,速度会相对快很多。
三、其他补充说明
1、设置按钮
可以根据个人需求做一些调整:
2、快捷指令
按键绑定 |
说明 |
Ctrl + Enter |
将当前图形排队以供生成 |
Ctrl + Shift + Enter |
将当前图形排列为第一个生成图形 |
Ctrl + S |
保存工作流程 |
Ctrl + O |
加载工作流 |
Ctrl + A |
选择所有节点 |
Ctrl + M |
禁用/取消禁用选定节点 |
删除/退格 |
删除选定的节点 |
ctrl+Delete/退格键 |
删除当前图形 |
Space |
按住并移动光标时,四处移动画布 |
Ctrl/Shift +单击 |
将单击的节点添加到选择中 |
Ctrl + C/Ctrl + V |
复制并粘贴选定的节点(不保持与未选定节点输出的连接) |
Ctrl + C/Ctrl + Shift + V |
复制并粘贴选定的节点(保持未选定节点的输出与粘贴节点的输入之间的连接) |
Shift +拖动 |
同时移动多个选定的节点 |
Ctrl + D |
加载默认图表 |
Q |
切换队列的可见性 |
H |
切换历史的可见性 |
R |
刷新图表 |
双击LMB |
打开节点快速搜索选项板 |
对于macOS用户,Ctrl也可以替换为Cmd
3、提示词权重
使用()来更改单词或短语的权重,如:(prompt:1.2)或(promp:0.8)。()的默认强调值为1.1倍。要在实际提示中使用()字符,请像\(或\)一样对它们进行转义。
对于通配符/动态提示,可以使用{day|night}。对提示进行排队时,前端会随机将“{wild|card|test}”替换为“wild”、“card”或“test”。要在实际提示中使用{}个字符,请像:\{或\}那样转义它们。
关于ComfyUI的入门介绍就先到这里,后面再做详细的应用操作分析那个,大家赶紧试一下吧。
也许有人会说连SD还没摸清楚,一下子出来这么多,哪里学得完啊,其实多种同类型的软件的竞争,恰恰会促进产品的体验和功能升级,受益的还是我们玩家,在深度学习某个适合自己的软件的时候,适当的了解一下同类型的产品,还是可以扩展一下自己的思维宽度的。
出自:https://mp.weixin.qq.com/s/JCSwBZwMatAf2w5nPYccgA
ChatBA是一个AI工具,帮助你从文本智能成生成PowerPoint幻灯片。