Runway 推出新一代视频生成模型 Gen-3 Alpha 能够进行精细时间控制

Runway推出新一代视频生成模型 Gen-3 Alpha，具备更高的保真度和一致性，能够生成逼真的人类角色和动态场景。它支持多种视频生成和控制工具，并提供精细的时间控制和高质量的图像。

Runway还引入了新的安全措施，确保生成内容的安全和可靠性，并与多家顶级娱乐和媒体公司合作进行定制开发。

功能与特点

1. 多模态训练:
   • Gen-3 Alpha是在全新的大规模多模态训练基础设施上进行训练的，能够处理和融合不同类型的数据（如文本、图像和视频），以生成高质量的多模态输出。
   • 联合训练:该模型通过联合训练的方法，利用视频和图像数据进行学习。这种方法提高了模型在生成动态内容和静态内容时的表现能力，确保输出的连续性和一致性。
2. 多种生成工具:
   • 支持从文本到视频（Text to Video）、从图像到视频（Image to Video）、从文本到图像（Text to Image）的工具。
3. 精细时间控制:
   • 在训练过程中，使用了高度描述性和时间密集型的字幕，增强了模型对场景细节和时间变化的理解。这使得模型能够生成具有创意过渡和精确关键帧控制的内容。
   • 通过细粒度的时间控制，Gen-3 Alpha可以实现对生成内容的精确关键帧设置和场景过渡。这种精细控制使得生成的视频在运动和连贯性方面有显著提升。
   • 示例提示：一个蚂蚁从巢穴中出来的极近距离拍摄，镜头拉远，展示山丘之外的社区。
     .
     视频播放器

     00:00

     00:00

     00:00

     使用上/下箭头键来增高或降低音量。
4. 高质量的图像和视频生成:
   • Gen-3 Alpha能生成表达丰富的、逼真的人类角色，提供广泛的动作、手势和情绪，开启了新的叙事机会。
   • 示例提示：在电视机光照下的一名男子的电影宽幅肖像。
     .
5. 高级控制模式:
   • Gen-3 Alpha支持多种高级控制模式，包括运动画笔（Motion Brush）、先进摄像头控制（Advanced Camera Controls）和导演模式（Director Mode），这些模式提供了更大的创作自由和控制力度。
6. 高效计算和存储架构:
   • 采用分布式计算和高效存储架构，确保在处理大规模数据时的性能和速度。这种架构设计支持模型的快速训练和生成，满足高效创作的需求。

一些案例：