首页 > Ai资讯 > Ai知识库 > 通过声音生成逼真的全身形象?!Meta开源AI工具:audio2photoreal

通过声音生成逼真的全身形象?!Meta开源AI工具:audio2photoreal

发布时间:2024年06月06日

你想要了解audio2photoreal这个项目吗?这是一个由Facebook研究院开发的技术,可以根据音频生成逼真的人物视频!

IMG_256

audio2photoreal的全称是From Audio to Photoreal Embodiment:
Synthesizing Humans in Conversations
,意思是从音频到逼真的人体表现合成对话中的人类。

这个项目的目标是通过音频驱动,生成高质量的人脸和身体动画,从而实现人物的完整呈现。这样,你就可以用你的声音,创造出任何你想要的角色,无论是自己的形象,还是你喜欢的明星,甚至是虚拟的人物。

项目已开源,可以自行部署体验

IMG_257

IMG_258

audio2photoreal如何做到的?

audio2photoreal的核心技术是基于深度学习的图像生成模型,它可以从音频中提取语音特征,然后用这些特征来控制人脸和身体的运动。

IMG_259

具体来说,它分为三个部分:

人脸生成模型:这个模型可以从音频中生成逼真的人脸表情,包括嘴唇同步,眨眼,眉毛等细节。它使用了一种叫做扩散模型的新颖方法,可以有效地处理不同的人脸形状和肤色,以及不同的光照和背景条件。

身体生成模型:这个模型可以从音频中生成逼真的身体姿态,包括手势,头部转动,身体倾斜等动作。它使用了一种叫做变分自编码器的方法,可以从大量的人体数据中学习出一个低维的表示空间,然后用这个空间来生成多样的身体姿态。

身体指导模型:这个模型可以从音频中生成一个身体姿态的序列,作为身体生成模型的输入。它使用了一种叫做变换器的方法,可以捕捉音频中的语义和情感信息,然后用这些信息来指导身体姿态的变化。

IMG_260

audio2photoreal的优点缺点

audio2photoreal的优点是它可以生成高分辨率,高帧率,高逼真度的人物视频,而且可以适应不同的人物形象,不同的音频内容,不同的场景环境。它的应用场景非常广泛,比如可以用于虚拟社交,视频会议,教育培训,娱乐媒体,艺术创作等等。

audio2photoreal的缺点是它还需要进一步的优化和改进,比如提高生成速度,减少生成噪声,增加生成多样性,增加生成交互性等等。它也需要考虑一些伦理和社会的问题,比如保护用户的隐私,防止滥用和误用,尊重版权和肖像权等等。

代码地址:

https://github.com/facebookresearch/audio2photoreal/

项目地址:

https://people.eecs.berkeley.edu/~evonne_ng/projects/audio2photoreal/


好了,今天的内容就分享到这里希望你们喜欢!

出自:https://mp.weixin.qq.com/s/_t8uhnjQ6Jz-2z_wA_NHTQ