Stable Diffusion快速生图，LCM-Lora、sd_xl turbo寄养和亲生谁好？！

前段时间在AI界火了一圈的LCM(潜在一致性模型)，应该大家有所了解，其开发团队来自清华某实验室。出来以后也被应用非常广泛。

LCM-LoRA是使用一致性方法通过Stable Diffusion基础模型（v1.5
和 SDXL）训练的 LoRA 模型。

一、原理简介

LCM-Lora技术原理随便看看，反正也看不懂。

继LCM之后，stability官方也出了一个快速生图提升效率的模型，即sd_xl turbo(涡轮增压)。

SDXL-Turbo
是SDXL 1.0的精炼版本，经过实时合成训练。SDXL-Turbo 基于一种称为对抗扩散蒸馏 (ADD) 的新颖训练方法，该方法允许在高图像质量下以 1 到 4 个步骤对大规模基础图像扩散模型进行采样。这种方法使用分数蒸馏来利用大规模现成的图像扩散模型作为教师信号，并将其与对抗性损失相结合，以确保即使在一个或两个采样步骤的低步骤状态下也能确保高图像保真度。

有兴趣可以去看看：

https://huggingface.co/stabilityai/sdxl-turbo

今天我们在sd-web ui中一起来尝试一下这两个模型怎么样。

二、LCM-LoRA

使用方法：

1.明确的是LCM-LoRA的使用方法和普通的Lora模型使用方法一样

2.支持各种大模型的添加，也支持修脸插件ADetailer，风格插件sdxl style，支持高分辨率修复

3.采样方法建议使用：Euler、LCM，迭代步数和提示词系数(CFG Scale)一定要低...

其他参数和插件可自行尝试。

例1：

Self-portrait oil painting,a beautiful
cyborg with golden hair,8k ,<lora:lcm_lora_sd15:1>,

Negative prompt: lowres,bad
anatomy,bad hands,text,error,missing fingers,extra digit,fewer
digits,cropped,worst quality,low quality,normal quality,jpeg
artifacts,signature,watermark,username,blurry,

Steps: 4, Sampler: Euler, CFG
scale: 2, Seed: 2773164040, Size: 512x512, Model hash: 7c819b6d13, Model:
Rel_majicMIX realistic 麦橘写实_v7, VAE
hash: 551eac7037, VAE: vae-ft-mse-840000-ema-pruned.safetensors, Denoising
strength: 0.7, Hires upscale: 2, Hires upscaler: 4x-UltraSharp, Lora hashes:
"lcm_lora_sd15: aaebf6360f7d", Version: v1.6.0-378-g40ac134c

参考上方参数，生成两组图，迭代步数4，CFG scale 2，就能够生成很好的图像。而且用时只要20多秒(16G显存，因为加了高清修复，时间会更长一些，正常就几秒到十几秒...)

三、sdxl
turbo

例2：

Self-portrait oil painting,a
beautiful cyborg with blue hair,8k,

Negative prompt: lowres,bad
anatomy,bad hands,text,error,missing fingers,extra digit,fewer
digits,cropped,worst quality,low quality,normal quality,jpeg
artifacts,signature,watermark,username,blurry,

Steps: 2, Sampler: Euler, CFG
scale: 1, Seed: 2169156756, Size: 512x768, Model hash: e869ac7d69, Model:
sd_xl_turbo_1.0_fp16, Version: v1.6.0-378-g40ac134c

从上面参数可看出，sdxl
turbo必须为大模型，且vae设置为无，用同样的提示词，生成的图像如下。整体看精度没有LCM Lora的好(实话实说..hhhh...),但是需要关注的是，这里迭代步数只有2步，CFG Scale 1，且时间只有4s。也就是说速度上，sdxl turbo是更快于LCM Lora的。

sdxl turbo使用方法：

1.CFG Scale值建议只用1即可

2.迭代步数官方介绍是1-8，其实建议4-6步即可

3.画图尺寸不能超过700，超过会出错，且不支持高清修复放大

4.可支持ADetailer插件人脸修复，支持sdxl style风格插件

另外，sdxl turbo在Clipdrop上也可在线体验快速生图，如下，选择sdxl turbo即可体验。

在线版本就不在这里演示了，大家有兴趣可以自行尝试，反正出图非常快，几乎实时出图。但是由于现在还处于测试阶段，出图的质量不是很高。

四、文中用到的模型获取及安装方法：

安装：

LCM-LoRA模型：

1.下载 LCM-LoRA 并将其放入 LoRA 文件夹
stable-diffusion-webui > models > Lora。

2.将其重命名为
lcm_lora_sd15.safetesnors。

sdxl turbo模型：

下载sdxl turbo并将其放入 stable
diffusion 文件夹 stable-diffusion-webui > models
> stable diffusion

以上就是全部内容了，看到这里，相信你自己已经有答案了，还不抓紧去玩玩吖！

出自：https://mp.weixin.qq.com/s/12kzuxV7hM0m2KIwvnzEBg