FoleyCrafter：精准的为无声视频自动配音 生成同步且逼真的声音

FoleyCrafter 是一个能够为无声视频生成同步且逼真的声音效果的开源系统。用于自动生成与视频同步的高质量音效，从而实现身临其境的视听体验。它可以根据视频内容生成相关的声音，比如在视频里看到狗，FoleyCrafter 就会生成狗叫的声音。

它利用了一个预训练的文本到音频模型，并通过两个关键部分来实现这一目标：语义适配器和时间控制器。

语义适配器确保生成的声音与视频内容语义相关，而时间控制器则确保声音与视频的时间精确同步。

该系统可以通过文本提示来生成多样化的声音效果，适用于电影、游戏等领域。实验结果表明，FoleyCrafter 在生成高质量和精确同步的声音方面表现优异。

• 生成高质量声音：
  • FoleyCrafter 可以为视频生成清晰、逼真的声音效果，不再需要人工添加声音。
• 声音与视频内容匹配：
  • 它可以根据视频内容生成相关的声音，比如在视频里看到狗，FoleyCrafter 就会生成狗叫的声音。
• 声音与视频同步：
  • FoleyCrafter 确保声音和视频是同步的，比如你在视频里看到一个门被关上，声音也会在同一时间出现。
• 用文字控制声音：
  • 你可以用文字描述来生成声音，比如你输入“海浪声”，FoleyCrafter 就会生成海浪的声音。
• 适用于不同类型的视频：
  • 不管是电影、动画还是游戏视频，FoleyCrafter 都能生成合适的声音效果，提升观众的体验。
• 操作简单：
  • 只需提供视频和简单的文字描述，FoleyCrafter 就能自动生成你需要的声音效果。

工作原理

FoleyCrafter 通过预训练的文本到音频生成模型，结合语义适配器和时间控制器，实现高质量、语义对齐和时间同步的声音生成。

FoleyCrafter 基于�