首页 > Ai资讯 > Ai日报 > Runway 推出一款生成式角色表演工具 可以把视频转换成任意风格虚拟角色动画 并且保持表情语音口型同步

Runway 推出一款生成式角色表演工具 可以把视频转换成任意风格虚拟角色动画 并且保持表情语音口型同步

发布时间:2024年10月24日

Runway 推出的一款生成式角色表演工具,Act-One可以通过使用视频和语音输入生成逼真的角色表演,是一种利用生成式模型创建真人动画和动画内容的新方法。

  • 轻松制作角色动画:只需要用摄像头录下演员的表演,Act-One 就能把视频转换成虚拟角色的动画,比如演员的眼神、面部表情、动作节奏和说话方式都会被捕捉下来。
  • 简单快捷:传统动画制作需要专门的设备和复杂的步骤,比如动作捕捉或面部建模,但用 Act-One,只要一台普通摄像头就能生成逼真的角色动画,大大简化了流程。
  • 多种角色风格:Act-One 可以根据不同的参考图像,把同一个演员的表演变成各种风格的角色,无论是卡通还是逼真风格都可以。

Act-One 的核心功能与能力

1. 生成逼真的角色表演

  • 输入类型:Act-One以视频和语音作为输入,通过演员的现场表演来驱动虚拟角色的动作和表情。
  • 输出表现:它能生成动态的角色动画,保留演员的眼神、微表情、语调动作节奏,确保最终生成的角色表现具备真实情感。

仅使用演员表演的简单视频即可将角色转换成生成动画风格。

视线、微表情、节奏和表达都忠实地呈现在最终生成的输出中。

2. 简化面部动画流程

  • 传统的面部动画通常需要复杂的动作捕捉设备、手动面部建模和多步流程。而Act-One只需要单一摄像头捕捉演员表演,即可生成虚拟角色动画,极大简化了动画制作过程。
  • 不需要额外的设备或手动面部建模,大幅降低了制作门槛。

使用简单的单摄像机设置捕捉演员的表演,可用于为生成的角色制作动画。

一个简单的家用摄像机设置可以捕捉演员的表演,从而为生成的角色制作动画。能保持声音同步和嘴型同步

3. 支持多样化角色表现

  • Act-One 能够处理各种不同类型的角色,并将演员的表演准确转换为不同比例、不同风格的虚拟角色。这意味着,用户可以基于一个表演生成多种角色动画,从而实现更具创意的角色设计和演绎。

视频输入生成多种风格的角色动画

4. 多轮对话场景的生成

  • Act-One 支持创建复杂的多轮对话场景,这在以前的生成式视频模型中较为困难。用户只需使用一个演员和一台摄像机,即可演绎多个角色的对话,并通过生成的虚拟角色实现多角色互动。

使用单个演员和摄像机设置一起编辑的多机位对话场景,以驱动两个独特的生成角色的表演。

5. 灵活的创意应用

  • 工具的强大之处在于其多摄像机的对话场景处理能力,通过单一摄像机和演员实现多个角色的表演和编辑。
  • 家庭摄像头生成动画:用户仅需在家用摄像头前进行表演,Act-One 就能生成专业级别的动画。
  • 多模态输出:无论是单个角色的动画,还是包含多个角色的叙事场景,Act-One都能通过同一段表演生成多种不同风格和场景的角色表现。

Act-One 的应用场景

  • 电影与动画制作:为创作者提供更高效的面部动画工具,适用于电影、短片、广告等的动画生成。
  • 角色设计与开发:可以快速生成具有不同风格和表情的角色样本,帮助游戏开发者和艺术家快速创建角色原型。
  • 叙事与创意内容:支持创作者用简单的设备生成多角色叙事视频,特别适合叙事性强的创意内容和社交媒体视频。

官方介绍:https://runwayml.com/research/introducing-act-one

如果你想要了解关于智能工具类的内容,可以查看 智汇宝库,这是一个提供智能工具的网站。
在这你可以找到各种智能工具的相关信息,了解智能工具的用法以及最新动态。