首页 > Ai资讯 > Ai知识库 > 【开源黑科技】鹅厂PhotoMaker AI绘画工具,一键打造多风格头像!

【开源黑科技】鹅厂PhotoMaker AI绘画工具,一键打造多风格头像!

发布时间:2024年06月06日

在当今科技日新月异的时代,人工智能的发展正以前所未有的速度前进。特别是在人工智能生成内容(AIGC)领域,创新成果层出不穷。近期,腾讯推出了一款名为PhotoMakerAI图像生成工具,迅速在开源社区中崭露头角,并受到了众多科技领域意见领袖的推崇和推荐。

PhotoMaker的火爆并非偶然,它的核心功能是作为一款多功能的头像生成器。用户可能会以为它仅仅是一个简单的图片编辑工具,但PhotoMaker的功能远不止于此。它不受原始输入图像的限制,能够自由地调整人物的性别、年龄等特征,创造出风格迥异的全新图像。这种灵活性和创造性是PhotoMaker的一大亮点。

接下来,让我们深入探究PhotoMaker的魅力所在,了解它是如何迅速走红,成为众人热议的焦点。

PhotoMaker是一款通过堆叠 ID技术嵌入定制出逼真的人体照片的开源工具。

图片

一个可以创建任何风格的任何人的照片/绘画/头像的生成器。

能根据描述生成符合描述的人物照片。也能把几个不同人的照片特征混合在一起,创造出一个全新的人物形象。

还能改变照片人物的性别、年龄和生成多种风格的其他照片。快速逼真,效果自然。更加无需训练LoRA即可保持角色一致性。

图片

🌠主要特点:

PhotoMaker使用的核心技术是堆叠ID嵌入

这意味着它可以将多个身份证明(ID)图像的信息合并成一个统一的数据结构。这种方法不仅能捕捉到单个ID的细微特征,还能整合多个不同ID的特征,创造出新的、个性化的图像。

o• 结合多张照片的特征PhotoMaker可以取多张照片,这些照片可以是同一个人的,也可以是不同人的。它分析这些照片中的特征,然后将它们结合起来,创造出一个新的、个性化的人物图像。

o• 灵活的文本控制:与其他方法相比,PhotoMaker提供了更灵活的文本控制能力。用户可以通过文本提示来指导图像的生成,这使得创造出的图像不仅逼真,而且能更好地符合用户的具体要求。

o• 高效率和快速生成:相比于需要大量微调的方法(如DreamBooth),PhotoMaker在保持身份信息的同时,提供了更快的生成速度。它能在短时间内(例如10秒)生成定制的人类照片,这对于需要快速生成结果的应用场景非常有利。

o• 高身份保真度PhotoMaker在生成图像时能更好地保持人物的身份特征。这对于需要精确保留人物特征的场景(如个性化肖像或身份识别)尤其重要。

主要功能:

o• 根据文字描述制作照片:你可以告诉它你想要的人物样子,它就能生成符合描述的人物照片。

o• 混合多个人的特征:它可以把几个不同人的照片特征混合在一起,创造出一个全新的人物形象。

o• 改变年龄或性别:比如,你可以把一张男士的照片转换成女士的样子,或者让照片中的人看起来年轻或年老。

o• 添加艺术风格:它还能给照片加上不同的艺术效果,比如油画风格或卡通风格。

o• 现实化艺术作品/旧照片中的人物:将艺术品或旧照片中的人物带入现代。

部署及使用:

项目要求Python版本3.8及以上、Pytorch版本2.0及以上。然后下载代码、下载模型、训练模型、启动服务、本地使用。

1. 下载代码。

1.1 github地址

https://github.com/TencentARC/PhotoMaker

https://photo-maker.github.io/

1.2 国内Gitee

https://gitee.com/hooface/PhotoMaker?_from=gitee_search#-download-models

1.3 安装

pip install -r requirements.txt

1.4 模型下载

查看代码发现,需要下载的模型包括:

SG161222/RealVisXL_V3.0

TencentARC/PhotoMaker

HuggingFace 下载

https://huggingface.co/TencentARC/PhotoMaker

https://huggingface.co/SG161222/RealVisXL_V3.0

国内下载(先看ModelScope,找不到)

魔搭没有

Huggingface 镜像站(可用)

https://hf-mirror.com/

国内下载HuggingFace

pip install -U huggingface_hub

#linux

export HF_ENDPOINT=https://hf-mirror.com

#windows powershell

$env:HF_ENDPOINT = "https://hf-mirror.com"

#替换下面的SG161222/RealVisXL_V3.0 为你要下载的包名

huggingface-cli download --resume-download --local-dir-use-symlinks
False SG161222/RealVisXL_V3.0 --local-dir RealVisXL

中间断了的话,重新执行相同命令,支持断点续传。

1.5 喜闻乐见:开始运行

Windows引用修复

测试代码在Win11下直接跑不起来,报包引用找不到。

修复如下:

下载包替换

改成加载本地下载好的包。

运行脚本,打开浏览器使用

前面安装环境的Python 运行app.py 浏览器打开下面的地址。

image (7)

使用步骤:

1️上传您想要定制的人的图片。一张图片就可以,但更多的更好。(上传的图片中的人应占据图片的大部分区域)

2️输入一个文本提示,确保将您想要定制的类别词与触发词img配对。

例如:man img(男人的图片)或woman img(女人的图片)或girl img(女孩的图片)。

3️选择您喜欢的样式模板。

4️点击提交按钮开始进行定制。

还有其他作者根据PhotoMaker,提供舒适的用户界面项目:

o• https://github.com/ZHO-ZHO-ZHO/ComfyUI-PhotoMaker

o• https://github.com/StartHua/Comfyui-Mine-PhotoMaker

o• https://github.com/shiimizu/ComfyUI-PhotoMaker

图片

组合使用场景示例

1、可以根据描述生成多种风格个人照片。

比如: 你见过这样的黑寡妇吗?

图片

2、混合不同人物特征,生成全新人物形态。

比如: 奥特曼和乔布斯的孩子,可能长这样?

图片

3、修改年龄、性别以及照片年代。

比如: 小时候的马斯克,你见过吗?

图片

总结

实验结果表明,与其他类似模型相比,PhotoMaker具备高质量和多样化的生成能力,以及可编辑性、保真性。

此外,这一方法还能实现更多以往难实现的有趣功能。比如改变年龄或性别、将旧照片或艺术作品中的人物还原到现实中以及身份混合等。

参考链接🔗

[1]: https://www.linkresearcher.com/theses/adba75a0-bb87-415a-ab81-e19de089f787