Magic Animate

Magic Animate是一项开创性的开源项目，简化了动画创作，允许您从单个图像和动态视频制作动画视频，简单来说，给定一张参考图像和一个姿态序列（视频），它可以生成一个跟随姿态运动，并保持参考图像身份特征的动画视频。由新加坡国立大学的Show Lab和字节跳动打造。

Magic Animate在所有舞蹈视频解决方案中提供最高的一致性，但是Magic Animate 面部和手部可能会出现一些扭曲。默认配置可能会导致从动漫到写实主义的风格转变，尤其是在视频中的面部。将动漫风格应用于默认的DensePose驱动视频也会影响身体比例。

Magic Animate官网地址：www.magicanimate.org

MagicAnimate 的核心功能：

• 从单个图像和动态视频创建动画
• 保持时间一致性
• 保留参考图像
• 增强动画保真度
• 与DALLE3等T2I扩散模型集成
• 跨标识动画和来自未知领域的动画
• 以文本提示图像动画
• 在舞蹈视频解决方案中保持高一致性

MagicAnimate 如何使用？

要使用Magic Animate，您需要下载StableDiffusion V1.5和MSE-finetuned VAE的预训练基础模型。然后，您可以安装必要的依赖项并激活conda环境。然后上传一张静态人物照片，上传想要生成的动作demo视频，调整参数。之后，您可以在Huggingface或Replicate上尝试在线演示。另外，您还可以使用Replicate API以编程方式生成动画视频。