Media2Face

在人工智能领域，从语音中创建准确的面部唇部动作一直是一个持续的挑战。然而，突破已经到来——Media2Face。

Media2Face是通过音频、文本和图像多模态引导的共语言面部动画生成工具。它利用音频、文本和图像输入的引导来自然地模仿人类语言，引入了广义神经参数面部资产 （GNPFA）。这是一种高效替在空间，从而解耦表情和身份。然后，我们利用GNPFA从大量视频中提的变分自动编码器，可将面部几何形状和图像映射到高度广义的表情取高质量的表情和准确的头部姿势。

由于高质量的 4D 面部数据有限，从语音合成 3D 面部动画面临着挑战。然而，借助 Media2Face，现在可以从任何音频、图像或文本输入无缝生成逼真且富有表现力的面部动画。

Media2Face能够根据声音来生成与语音同步的、表现力丰富的3D面部动画。同时允许用户对生成的面部动画进行更细致的个性化调整，如情感调整，“快乐”或“悲伤”等。Media2Face还能理解多种类型的输入信息（音频、文本、图像），并将这些信息作为生成面部动画的指引。

Media2Face实际应用：

• 创造对话场景：根据你写的剧本，电脑可以生成人物对话的动画场景。

• 制作风格化的面部动画：你可以给电脑一个表情符号，它就能根据这个符号创造出动画。

• 情感歌唱：电脑还能根据不同的语言唱歌，表现出对应的情感。

• 个性化动画：最神奇的是，这个项目能够创造出符合不同人种、年龄和性别的个性化面部动画。

• 影视制作公司使用Media2Face生成影片中虚拟人物的面部动画。

• 虚拟主持平台利用Media2Face实现虚拟主持的面部表情生成。

• 游戏开发公司在虚拟角色设计中应用Media2Face进行面部动画生成。

Media2Face是如何工作的？

Media2Face项目的工作原理涉及几个关键技术和步骤，使其能够从语音合成出具有丰富表情和情感的3D面部动画。下面是该项目的主要工作流程：

1. 通用神经参数化面部资产（GNPFA）：

首先，研究团队创建了一个特殊的工具（叫做GNPFA），它就像一个大型的面部表情数据库。无论你想要什么样的表情，这个工具都能帮你找到，并且还能确保每个人的面部动画都独一无二，不会和别人混淆。

这个过程实现了表情和身份的解耦，即能够在不同的身份之间转换相同的表情。

然后，他们用这个工具处理了很多视频，从中提取出了高质量的表情和头部动作。这样就创建了一个巨大的数据集，里面包含了各种各样的面部动画和对应的情感、风格标签。

2. 多模态引导的动画生成：

Media2Face采用一个扩散模型在GNPFA的潜在空间中进行动画生成，这个模型能够接受来自音频、文本和图像的多模态引导。

模型将音频特征和CLIP潜在代码作为条件，与表情潜在代码序列的噪声版本以及头部运动代码（即头部姿势）一起去噪。条件被随机掩蔽，并通过与噪声头部运动代码的交叉注意力进行处理。

3. 表情和头部姿势生成：

利用GNPFA从大量视频中提取高质量的表情和准确的头部姿势。这呈现了 M2F-D 数据集，这是一个大型、多样化和扫描级别的共同语音3D面部动画数据集，具有注释良好的情感和风格标签。

4.表情和风格微调：

通过表情编码器提取关键帧表情潜在代码，并通过CLIP提供每帧的风格提示，如“快乐”或“悲伤”，用户可以调整动画的强度和控制范围。

通过以上这些技术步骤，Media2Face能够生成与语音同步的、表现力丰富的3D面部动画，支持复杂的情感表达和风格变化，为创建虚拟角色和增强AI数字人的交互体验提供了强大工具，大量实验表明，Media2Face不仅在面部动画合成中实现了高保真度，而且拓宽了3D面部动画的表现力和风格适应性。