首页 > Ai资讯 > Ai知识库 > Midjourney 实现角色一致性的新方法

Midjourney 实现角色一致性的新方法

发布时间:2024年06月06日

AI 绘画的奇妙之处,实乃令人叹为观止!就像大千世界中,寻不见两片完全相同的树叶一般,AI 绘画亦复如是。同一提示之词,竟能催生出千变万化的图像,使得AI所绘之作,宛如自然之物般独特,毫无呆板重复之嫌。

然而,这种随机性却给许多用户带来了不小的困扰。尤其对于那些故事书或绘本的创作者来说,他们往往希望 AI 生成的人物能够保持一致的特征,以便为故事书或绘本塑造统一的人物形象。

角色一致性这一议题并非新生事物,过去我们曾采用过多种方法来解决这一问题,如借助随机种子(seed)或上传参考图等手段。然而,随着 Midjourney 的不断迭代更新,新的方法往往会超越旧有的手段。

本文旨在介绍一种全新的方法,通过它我们能够实现更为持久且精准的角色一致性。我以真人举例,漫画人物的方法雷同。

1. 为角色创建相册

第一步是为角色创建一个相册。这个相册展示了角色不同角度和表情的头像。我用的提示词如下:

Prompt: wide 12-frame photo sheet, young woman with pixie-cut brunette hair, white background, diverse angles and expressions

提示词:12 幅宽幅照片,年轻女性,褐发精灵头,白色背景,不同角度和表情

我更倾向于将这一提示词输入到DALL-E之中,因为它能够生成更为规范的格子布局。同时,DALL-E的格子布局还蕴藏着诸多巧妙的用途,具体细节可参阅我此篇文章:

��� DALL-E 3 中神奇的格子布局

下图是 DALL-E 生成的图片。

 

Midjourney 生成的 Photo Sheet 布局会乱一些,人物的一致性也会略差一些,请看下图:

 

不过,如果用 DALL-E 生成的图像做参考图的话,Midjourney 也能生成比较稳定的格子布局。并且,通过平移 (Pan) 和 放大 (Upscale),还可以生成更多头像。不过,我不建议目前这么操作,因为格子越多,Midjourney 越不稳定。

 

2. 截图并上传头像

一旦我们拥有了人物的头像相册,便可以为人物创建场景提供有力的参考。

接下来的步骤是挑选出一些具有差异且效果上佳的头像,截图并保存,再上传到 Midjourney 上生成链接。

如此,当不同场景需要呈现人物各异的角度或表情之时,我们便拥有了一系列灵活多变的参考图。

 

我建议把这些链接嵌入到 Notion 中,然后右击图片可以随时拷贝,比在 Discord 里面拷贝方便多了。

 

3. 创建场景并换脸

接下来,我们来为人物创建场景。为此,我写了如下提示词:

Prompt: outdoor photography, young woman, pixie-cut brunette hair, riding bicycle along park path, morning light on face, trees and sunlight filtering through the leaves

提示词:户外摄影,年轻女子,精灵般剪短的褐发,沿着公园小径骑车,晨光洒在脸上,树木和阳光透过树叶

在这个提示词里面,我大致描述了角色的特征,比如她的褐色短发。尽可能地贴近角色可以为后期的工作带来便利。Midjourney 生成的图像如下:

 

这个人物的特征和我们创建的角色差异比较大。接下来开始换脸。这里会用到 Midjourney 的局部重绘 (Inpainting) 功能。我在之前的文章有介绍:Midjourney【局部重绘】详细教程

大致的流程是这样的:首先,在女孩的脸部创建一个选区。接着,从之前的人物头像相册中挑选一张角度和表情都较为合适的头像,将头像的链接放置到局部重绘的提示词输入框中,并适当地加入关于人物面部光线的提示词。

 

Midjourney 生成的四张图里面,我挑选了一张比较像的。

 

这个过程我们主要关注的是面部特征是否相似。有时候换脸的效果会失真,看上去像把头像生硬地贴到图片上一样。不过没关系,这个问题可以通过微调解决。如果一次生成的图像的面部特征不相似,局部重绘进行多次。

接下来我们来进行微调,让照片看上去更自然。这里用到的是 Midjourney 的 “Vary” 功能。“Vary Strong” 和 “Vary Subtle” 都行。

 

确保你已经点亮了 Remix 模式的按钮。点亮了这个按钮才可以弹出输入提示词的对话框。我们要通过提示词来确保画面结构保持一致。因为刚才局部重绘的时候,我们已经删掉了大部分提示词,只剩下 “morning light on face”。如果不激活 Remix 模式的话,人物的场景也会发生变化。

 

弹出提示词的对话框以后,我们需要填入之前的提示词,即:

outdoor photography, young woman, pixie-cut brunette hair, riding bicycle along park path, morning light on face, trees and sunlight filtering through the leaves

除此之外,为了维持角色的面部特征,还需要参考图。这里的参考图可以用刚才的图片,也可以用头像相册里的。参考图设置权重为 2,即:

https://s.mj.run/1KlOcmgDtbs outdoor photography, young woman, pixie-cut brunette hair, riding bicycle along park path, morning light on face, trees and sunlight filtering through the leaves --iw 2

 

我觉得第三张图片比较好,于是进行了放大。

 

可以看到,人物的短发,弯弯的眉毛和性感的厚嘴唇都得到了较好的保留。

这个过程可以反复进行,不断优化。

 

我们可以将表现较好的人物头像截屏下来,并纳入到角色的头像相册中,丰富我们的参考图库。这样,在创建新的场景时,由于有了更多一致性的参考图,新场景中的人物一致性也会越来越稳定。

总结

虽然 Midjourney 不如 Stable Diffusion 那样可控,但总算可以通过新的功能提高角色的一致性。让我们期待它们开源和闭源的文生图 AI 可以相互促进,朝着更加可控和更加创意的方向发展。

 

出自:https://mp.weixin.qq.com/s/OQgb3jDGmmBsId-k5pMpOA