分享使用SDXL 1.0模型的一些技巧和心得
发布时间:2024年06月06日
今天这个文章,我要和大家分享一些使用SDXL
1.0模型的小技巧。
像之前,为了要用XL模型,还需要两个模型互相来回切换,很浪费时间。
现在,SDXL 1.0模型有一个新的插件,叫做refiner。这个插件可以像其他插件一样下载。
链接:https://github.com/wcde/sd-webui-refiner.git我们点击这里的扩展,然后点击可用,然后点击加载自。如果是第一次下载这个插件,就搜索refiner。搜索到之后,点击安装就可以了。点击已安装应用并重启,就可以使用这个插件了。这个插件怎么用呢?我们先切换回base模型,然后使用同样的提示词。这里我们随机种子。然后,我们勾选refiner。模型我们选择refiner。
采样迭代步数可以给小一点。采样迭代步数越大,细节越多。我这里给10,就是默认的。然后,我们点击生成。
可以看到,这个就是我们使用base模型,加上refiner插件生成的图片。来跟不用refiner模型的对比一下
(细节还是多了很多)
有了这个插件这样就不用频繁地切换模型了,毕竟切换模型还是需要一定的时间。除了这个,现在的SDXL 1.0模型可以使用Lora了。我们先把refiner插件先不启用,然后点击这里加入一些Lora。当然,像embedding还是不能使用。比如说,我使用这个恶魔天使的Lora。现在是可以使用一些相对应的Lora了。我们改一下这个尺寸,改成768*1024。其他的我们就不变了。然后,我们点击生成。可以看到,这张图还是非常不错的。这个是我们使用Lora生成的图像。当然,还有一个问题。SDXL 1.0模型可以直接单独使用refiner模型。但是,一旦切换了refiner模型,下边就不能加Lora了。一旦加了Lora,就会报错。比如说,我点击这里生成,可以看到会报错。所以,如果我们使用refiner模型,就不能加Lora了。但是,如果我们使用base模型,然后下边在这里启用refiner插件,就可以使用Lora了。
大家务必留意这一要点。在切换完成之后,我们将再次点击“生成”。
由于我之前的提示词过于简单,所以生成的图片效果不太理想。
不过,我们有机会借助SDXL1.0模型和LoRa插件来获得更出色的图像。
除了依赖SDXL1.0模型,我们还能够尝试其他基于该模型的衍生模型,比如DreamShaper。
我已经成功下载了DreamShaper软件,我们可以利用它来创造出更优美的图像。我们将现有的提示文本复制一遍,但目前先不进行启用refiner花费时间较多
我们已经生成了一个优质的图像,你可以查看。
生成的图片质量非常高,效果也出色。
这是基于SDXL1.0模型训练的大型模型。
关于该模型的下载,你可在c站等地进行,可以在这些地方进行筛选,例如在这里筛选SDXL1.0。
你可以查看相应的Lora模型以及其大型版本,都可以从这里下载。
此外,大家还可以访问LiblibAI,在这个地址找到相应的内容,不用多说了,就是这个地址。
你也可以在这个地方筛选,这里有SDXL模型可供选择,以及相应的Lora模型和大型模型。
还记得我们之前介绍过Clipdrop吗?我们可以在这里体验SDXL模型,现在已经推出了1.0版本,所以你可以在这里体验。
可以选择不同的风格来生成各种漂亮的图片,非常简单直接。
你可以尝试下载并体验这些风格,它们在不同的尺寸下都很出色。
然而,一旦进入SD界面,就无法再更改这些风格了。
面对这种情况,我们可以求助于大神来对这些风格进行整理。
我会分享给大家这位大神整理好的风格的地址,通过这个地址,你可以找到他所整理的风格,也可以学习如何调用它们。
地址:https://www.reddit.com/r/StableDiffusion/comments/15afvnb/sdxl_various_styles_keywords/
首先,你需要在Webui根目录中找到名为"styles.csv"的文件,这实际上是一个Excel表格。
在这个表格中,你可以复制这位专家提供的所有信息,其中也包括使用"automatic1111"来调用特定风格的方法。
将这些信息粘贴到相应的位置,然后你就可以开始尝试不同的风格了。
当然,如果你没有的话,你可以右键点击鼠标,选择“新建”,然后选择“文本文档”。
创建新文本文档后,将其命名为"styles.csv",这就是所需的文件。
接下来,右键点击鼠标,然后在“打开方式”中,避免直接使用Excel来打开,而是选择使用记事本等类似的应用程序。
(别用Excel打开!!!)
打开文件后,首先输入标题"Name Prompt",接着是提示词,务必要进行输入。
name,prompt,negative_prompt (接着复制风格提示词)
完成之后,将刚刚设置好的样式复制,并粘贴到当前文件中。
保存一切后,按下Ctrl + S进行保存。保存完成后,你可以清空文件内容,然后我们就可以返回到之前提到的页面。
当然,如果你在此使用的不是这种模板风格,你需要执行一些步骤来进行调整。
首先,关闭当前的后台操作,然后重新启动WebUI。
在切换回所需的模板风格后,你将获得多种风格选项。
例如,我在这里可以请你尝试刷新页面,以确保变更生效。
在确认操作完成后,将模型切换回基础1.0版本。
接下来,你可以设置一个简单的提示词,比如"a cute cat"(一个可爱的猫),作为生成的提示词。
在这之外,暂时不需要进行其他调整。
在模板风格选项中,选择我们之前保存的设置,例如第二个选项,即"Anime"风格。
然后,调整生成图像的分辨率为1024*1024,并将迭代次数设置为30步。其余选项可以保持默认设置。
接着,我们点击这个选项进行生成,一旦生成完成,你就能够浏览一系列优质的图像。
在这个界面,你可以随意切换不同的风格,甚至还可以添加新的风格。
如果你希望查看特定风格的提示词,只需点击对应位置,系统会自动将相关的提示词填充在这里。
除此之外,你还可以尝试其他下拉的风格选项。自己去玩吧!
出自:https://mp.weixin.qq.com/s/VVlUulWG6dpaipedRDL7wg
如果你想要了解关于智能工具类的内容,可以查看 智汇宝库,这是一个提供智能工具的网站。
在这你可以找到各种智能工具的相关信息,了解智能工具的用法以及最新动态。
华为开源自研AI深度学习框架