首页 > Ai资讯 > Ai知识库 > Playground v2:超越SDXL的模型来了,优于SDXL 2.5倍!

Playground v2:超越SDXL的模型来了,优于SDXL 2.5倍!

发布时间:2024年06月06日

Playground团队刚刚发布了新的文生图模型Playground v2,它是基于SDXL的架构从零训练的模型,但是根据用户评价,它在生成效果上比SDXL2.5

IMG_256

Playground v2目前已经在huggingface开源,这次开源除了包括1024x1024的模型,还包含中间训练的256x256512x512的模型。

1024x1024playgroundai/playground-v2-1024px-aesthetic
· Hugging Face

512x512playgroundai/playground-v2-512px-base · Hugging Face

256x256playgroundai/playground-v2-256px-base · Hugging Face

Playground v2SDXL的架构和模型参数都是相同的,都是采用两个text encoderOpenCLIP-ViT/GCLIP-ViT/L。你可以直接使用diffusers库来使用:

from diffusers import DiffusionPipeline
import
torch

pipe = DiffusionPipeline.from_pretrained(
   
"playgroundai/playground-v2-1024px-aesthetic",
    torch_dtype=torch.float16,
    use_safetensors=True,
    add_watermarker=False,
    variant=
"fp16"
)
pipe.to(
"cuda")

prompt =
"Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image  = pipe(prompt=prompt, guidance_scale=
3.0).images[0]

根据在包含2600+个用户的prompts上的人工评测,相比SDXLPlayground v2要优2.5倍:

IMG_257

为了进一步评价模型的生成图像的质量,Playground团队还构建了新的评测集MJHQ-30K。它是从Midjourney上收集的30000个高质量数据集,共包含10个常见的类别,每个类别包含3000个样本。Playground v2MJHQ-30K上的FID明显优于SDXL

IMG_258IMG_259

这个FID结果看起来和人工评测一致,看起来比采用MSCOCO14来计算FID更靠谱一些。

目前你可以在Playground V2 - a Hugging Face Space
by playgroundai
或者
https://playgroundai.com/体验这个模型:

IMG_260

由于Playground v2SDXL架构和参数都一样,所以现有的工具WebUIComfyUI都兼容这个模型。

IMG_261

IMG_262

出自:https://mp.weixin.qq.com/s/SqgsuIMz0kldP5J5ytcgXw