由电影制作人和科学家共同打造的Flawless公司,可能终于跨越了内容配音的“恐怖谷”(Uncanny Valley)。
目前,观看一部被配成英语的外语内容是一种令人不适的体验。
由于流媒体平台带来了大量的本地语言电影和电视节目,观看被配成英语的丹麦犯罪剧或西班牙寄宿学校肥皂剧的经历,简直是一次次进入“恐怖谷”的噩梦之旅。这一术语广泛用于描述无法让我们信服的技术,实际上是将人类的相似性抛入了一个反乌托邦的噩梦中。
这时,Flawless公司出现了。这是一家由AI驱动的电影制作工作室,它希望你能在观看热门节目时仍能安心入睡,而不用再看到不匹配的嘴型和残酷的场景切换。Flawless公司由多才多艺的导演Scott Mann和Nick Lynes于2018年创立,其专有技术TrueSync可以覆盖演员的面部,并提供我们在AI领域见过的最令人印象深刻的翻译效果。该公司在今年的戛纳电影节上展示了其作品的预告片,《Variety》独家分享了这一预告片。
视频播放器
这家AI公司想要彻底改变多语言对白的重新配音方式
Flawless公司旨在保护艺术版权,并遵守好莱坞劳工公会的规定,这引发了关于国际内容价值及其在美国市场突破潜力的大问题。《Variety》还报道称,Flawless公司正式进入了电影发行领域。该公司与XYZ Films和Tea Shop Productions达成了合资企业,收购外国电影版权。该合作伙伴关系将把这些项目转换成英语,并承诺提供“完美对口型的视觉效果”,并在相关地区发行。首部上映的影片是Victor Dannell获奖的科幻片《UFO Sweden》,该片将在国内以《Watch the Skies》为标题上映。预计未来几个月将有一系列项目推出*。
Mann在与《Variety》的长时间对话中,讨论了好莱坞对AI的恐惧和厌恶、建立伦理规范以及“恐怖谷”的脑机制。
你是如何进入这个领域的?
这一切始于2018年。我的背景是导演、编剧和制片人。我偶然发现了介绍生成式AI(Generative AI)的第一篇论文。它叫做“Deep Video Portrait”,在SIGGRAPH大会上发布,这个会议基本上是科学界的奥斯卡奖。它让我大开眼界。
我一直在视觉特效(VFX)领域工作,很明显这种技术对我们行业可能产生的影响。我联系了该论文的作者,这促成了我和这些人以及我的合伙人Nick Lynes共同创立了公司。Christian Theobalt、Pablo Garrido和Hyeongwoo Kim成立了我们的科学部门,并将其发展为世界领先的计算机驱动生成科学部门。这就是我们的秘密武器。
目前好莱坞对AI充满了恐惧和焦虑。你的公司有意思的是你们充满了乐观。
我们从电影制作的角度创办了这家公司。我热爱艺术,我们的使命是将这项技术视为制作工具的能力。有一种观点认为,这种技术旨在消灭创意者并偷走艺术,就像Napster那样粗暴地颠覆。但是我们相信人类故事的表达,而电影是最先进的表达形式。技术正在放大这一点,并增加更多的创意层次。这样有好处。此外,这整个业务的经济性依赖于某些保护措施和对其运作方式的理解。
这个圈子里对AI的教育严重缺乏。这对你的业务有何影响?
这是一个全球性的问题,不仅仅是好莱坞。教育和理解是关键。有些公司——我们称之为有缺陷的公司——宁愿不进行教育,因为这会揭示一种不正当的做法。你需要就它的破坏性及其积极性进行诚实的对话。过去几年,我们优先考虑了与工作室和劳工公会——包括SAG-AFTRA——的理解,并表示:“看,这应该是如何使用的。”下一次[AMPTP合同]谈判是每个人现在应该开始讨论的事情。这个行业正在发生转型,我们应该做好准备。
说得好。行业对这一点有足够重视吗?
我可以自信地说,外界的态度正在发生变化。在去年的罢工之前,使用AI项目的批准路线是谨慎的。人们在早期阶段进行了对话,并且似乎理解了它们,并且试图改进流程。但对于跨越这个门槛,人们是有恐惧的。目前行业的某些地方状况非常糟糕,许多人不想急于做出错误的解决方案。
Flawless是如何建立其伦理规范的?
这是我个人作为电影制作人亲身经历的问题所引发的。我一直想修正电影配音的问题。我制作了一部电影《Heist》,与罗伯特·德尼罗合作。我很用心地制作了这部电影,结果在看它的外语配音版本时,发现剧本完全被重写了,嘴型完全不同。我意识到,“天哪,难怪这些东西传播不好。”
我产生了修正这个问题的冲动,并尝试了很多视觉特效(如头部扫描等),但这些都不切实际,也未能跨越“恐怖谷”。总之,你不能在移除和破坏整个对电影有贡献的部分的情况下做到这一点。我们了解到伦理和合法权利是密不可分的。
说到“恐怖谷”,看当前的配音形式真是太残忍了。特别是流媒体使它更加严重。
作为人类,我们非常详细地研究彼此。如果我们看到某些东西异常,我们的大脑会进入高度警戒状态。在电影制作的发展过程中,我们的大脑不断被愚弄和重新训练。你的潜意识在努力检查现实。如果某些东西没有很好地结合——尤其是声音和视觉——你会立刻在观看时设置一个巨大的障碍,阻碍任何形式的沉浸、共情和信任感。想想演员面部表情和手势的表现力有多强,甚至不用听到声音。这一切都使得[目前的配音]成为一个问题。但有明确的问题要解决是件好事。
对于国际电影来说,这里也有一个相当改变游戏规则的因素。它可能会开启一个新的明星市场,并消除许多备受赞誉的电影的美国语言重拍。
在过去一年中,我们向电影制作人展示我们的材料时,他们意识到从本地舞台走向全球舞台的潜力。这是一个巨大的机会,可以让你的作品得到展示,这让人兴奋不已。他们对将作品展示给更广泛的观众,尤其是美国观众感到非常兴奋。
有任何工作室或公司试图直接收购你们吗?
是的,当我们在2021年首次来到好莱坞时。我们有一个非常短的宣传片,有些人试图直接开价收购。Nick和我一致认为,我们想为所有人服务,而不仅仅是一个工作室的利益。我们想成为中立的,因为否则就非常有限了。但这帮助我们筹集资金并扩大公司。这是个好问题。
你们也想进入发行领域。
在某种程度上,我们一直把自己看作是一个工作室。我们希望面向未来。你需要从前期制作、制作到发布的每一个环节都做好。所有这些阶段都受到技术的影响。我的观点是,我们应该让电影的观众达到10倍。这,加上用这些工具制作出令人惊叹的电影,成本更低。如果你看看我们的第一部电影《UFO Sweden》,它显然已经翻译成英语,但也让电影制作人有自由添加和更改他们第一次无法负担的内容。你可以选择像算法组件那样尝试做一个工作,但我认为真正的力量在于制作电影和发行。整个过程。而在后期制作方面,我们可以做得更多。看看皮克斯,他们可以一直迭代他们的电影直到发布前的时刻。
原文:https://variety.com/2024/film/news/flawless-ai-lip-dubbing-movies-tv-1236068071/
在线免费学习外语