Stable Diffusion 又是一个史诗级增强、出图效率暴增 5 倍
发布时间:2024年06月06日
AI 绘画进化的速度真的真的是太快了!!最近爆火的新一代生成模型 LCM 席卷而来,可以大大的提升出图效率。
今儿我们就来一起尝尝鲜!
一 LCM 简介
LCM 全称 Latent
Consistency Models(潜在一致性模型),是清华大学交叉信息科学研究院研发的一款生成模型。
它的特点是可以通过少量步骤推理合成高分辨率图像,使图像生成速度提升 2-5 倍,需要的算力也更少。
官方称 LCMs 是继 LDMs(Latent Diffusion Models 潜在扩散模型)之后的新一代生成模型。
如果之前有了解过 Stable Diffusion 的出图过程,我们应该知道
Stable Diffusion 的出图过程其实是从一张纯噪声图中去噪点,最后变成一张清晰的图片,这大概需要 20-50 步(也就是我们设置的步数)
而 LCM 强调的是不要再一步步迭代了, 直接追求“一步到位”。LCM 是在 Consistency Models 的基础上引入了 Lantent Space (潜空间),进一步压缩需要处理的数据量,从而实现超快速的图像推理合成。只需要 2-4 步即可完成!
可以先来看看效果图:
4 步效果图
2 步效果图
1 步效果图
二 尝鲜使用
目前有三种玩法,大家可以挑选使用
直接在线把玩(科学上网)
·
文生图:https://huggingface.co/spaces/SimianLuo/Latent_Consistency_Model
·
图生图:https://replicate.com/fofr/latent-consistency-model
基于
Dreamshaper-V7 大模型使用
目前官网只提供了 Dreamshaper-V7 和 LCM-SDXL 是 2 款可以 Stable Diffusion 中使用的模型。并且需要安装 LCM 插件。
·
插件地址:https://github.com/0xbitches/sd-webui-lcm
·
模型地址:https://huggingface.co/SimianLuo/LCM_Dreamshaper_v7/tree/main
·
lcm-sdxl:
https://huggingface.co/latent-consistency/lcm-sdxl
基于
LCM-LoRA 使用
除了上述的大模型,官方还提供了一个 LoRa 模型,目前可以搭配 SD1.5 和 SDXL 的所有大模型使用,
目前可以在 ComfyUI 和 Fooocus 中使用 LCM-LoRA 模型
·
SD1.5 lora:
https://huggingface.co/latent-consistency/lcm-lora-sdv1-5
·
sdxl lora:
https://huggingface.co/latent-consistency/lcm-lora-sdxl
在使用了 LCM 后整个的出图效果确实大大的提升了,但是质量来看还是会差那么一些。
目前尝鲜,还是可以玩玩的,后续 LCM 有了更多的增强我们在进一步来分享!
出自:https://mp.weixin.qq.com/s/-eBJndDRNOjvjJMeN2UZEw
各类宣传动画视频轻松做,AI创作,只需简单输入文字(支持中英文),便可根据文案一键生成动画短片,且提供多种声音供你挑选,人物也可以自由更换,轻松生成你想要的动画视频。