Runway 推出一款生成式角色表演工具 可以把视频转换成任意风格虚拟角色动画 并且保持表情语音口型同步

Runway 推出的一款生成式角色表演工具，Act-One可以通过使用视频和语音输入生成逼真的角色表演，是一种利用生成式模型创建真人动画和动画内容的新方法。

• 轻松制作角色动画：只需要用摄像头录下演员的表演，Act-One 就能把视频转换成虚拟角色的动画，比如演员的眼神、面部表情、动作节奏和说话方式都会被捕捉下来。
• 简单快捷：传统动画制作需要专门的设备和复杂的步骤，比如动作捕捉或面部建模，但用 Act-One，只要一台普通摄像头就能生成逼真的角色动画，大大简化了流程。
• 多种角色风格：Act-One 可以根据不同的参考图像，把同一个演员的表演变成各种风格的角色，无论是卡通还是逼真风格都可以。

Act-One 的核心功能与能力

1. 生成逼真的角色表演

• 输入类型：Act-One以视频和语音作为输入，通过演员的现场表演来驱动虚拟角色的动作和表情。
• 输出表现：它能生成动态的角色动画，保留演员的眼神、微表情、语调和动作节奏，确保最终生成的角色表现具备真实情感。

仅使用演员表演的简单视频即可将角色转换成生成动画风格。

视线、微表情、节奏和表达都忠实地呈现在最终生成的输出中。

2. 简化面部动画流程

• 传统的面部动画通常需要复杂的动作捕捉设备、手动面部建模和多步流程。而Act-One只需要单一摄像头捕捉演员表演，即可生成虚拟角色动画，极大简化了动画制作过程。
• 不需要额外的设备或手动面部建模，大幅降低了制作门槛。

使用简单的单摄像机设置捕捉演员的表演，可用于为生成的角色制作动画。

一个简单的家用摄像机设置可以捕捉演员的表演，从而为生成的角色制作动画。能保持声音同步和嘴型同步

3. 支持多样化角色表现

• Act-One 能够处理各种不同类型的角色，并将演员的表演准确转换为不同比例、不同风格的虚拟角色。这意味着，用户可以基于一个表演生成多种角色动画，从而实现更具创意的角色设计和演绎。

视频输入生成多种风格的角色动画

4. 多轮对话场景的生成

• Act-One 支持创建复杂的多轮对话场景，这在以前的生成式视频模型中较为困难。用户只需使用一个演员和一台摄像机，即可演绎多个角色的对话，并通过生成的虚拟角色实现多角色互动。

使用单个演员和摄像机设置一起编辑的多机位对话场景，以驱动两个独特的生成角色的表演。

5. 灵活的创意应用

• 工具的强大之处在于其多摄像机的对话场景处理能力，通过单一摄像机和演员实现多个角色的表演和编辑。
• 家庭摄像头生成动画：用户仅需在家用摄像头前进行表演，Act-One 就能生成专业级别的动画。
• 多模态输出：无论是单个角色的动画，还是包含多个角色的叙事场景，Act-One都能通过同一段表演生成多种不同风格和场景的角色表现。

Act-One 的应用场景

• 电影与动画制作：为创作者提供更高效的面部动画工具，适用于电影、短片、广告等的动画生成。
• 角色设计与开发：可以快速生成具有不同风格和表情的角色样本，帮助游戏开发者和艺术家快速创建角色原型。
• 叙事与创意内容：支持创作者用简单的设备生成多角色叙事视频，特别适合叙事性强的创意内容和社交媒体视频。

官方介绍：https://runwayml.com/research/introducing-act-one