首页 > Ai资讯 > Ai日报 > 只需要4个摄像头视角和3D骨骼姿势 实现全息角色传送

只需要4个摄像头视角和3D骨骼姿势 实现全息角色传送

发布时间:2024年05月19日

马克斯·普朗克信息学研究所、萨尔大学和萨尔布吕肯视觉计算、交互与人工智能研究中心合作,提出了一种新的实时渲染方法。它只需要4个摄像头视角和3D骨骼姿势,即可捕捉到人类运动的细节,包括衣服褶皱、面部表情和手势。同时可以实时以4K分辨率呈现人类的高度逼真的自由视角视频。

主要功能包括:

  1. 实时自由视角呈现: 仅需4个稀疏摄像头视角和3D骨骼姿势数据,即可在4K分辨率下实时生成角色的自由视角视频。

  2. 高精度动态建模: 利用骨骼驱动的神经网络精确捕捉人体的动态几何形状,呈现衣物褶皱、面部表情和手势等细节。

  3. 依视角变化的纹理映射: 从4个摄像头视角创建依视角而变的纹理,准确重现角色的动态纹理细节。

  4. 图像优化与4K渲染: 基于图像的优化网络生成高分辨率的最终视频画面,确保呈现效果逼真和细腻。

  5. 广泛适用的角色表现: 无论演员穿着紧身或宽松服装,该方法都能适应并呈现出真实的细节,适用于各种表演和动作。通过对动态角色网格的建模、纹理映射及图像优化,准确捕捉角色的各类动态细节。适用于动画制作、影视特效以及游戏开发。也可将虚拟角色放入各种场景,实现逼真的沉浸式交互体验。

技术方法

主要技术方法可以简单理解为:

  1. 骨骼模型驱动: 通过使用人的骨骼姿势数据,计算机会创建一个跟踪人体运动的虚拟模型。

  2. 多角度纹理映射: 从不同角度的摄像头视角,将捕捉到的图像映射到虚拟模型上,让模型呈现逼真的外观。

  3. 纹理增强: 使用神经网络进行纹理处理,将多角度的图像数据结合起来,生成细节丰富的纹理效果,比如衣服的褶皱和面部表情。

  4. 图像优化: 最终,模型会被渲染成4K的超高分辨率画面,确保虚拟角色在画面中看起来细腻、真实,甚至可以处理复杂的服装或姿势。

详细介绍

  1. 骨骼驱动的可变形模型: 使用骨骼驱动的神经网络,基于演员的3D骨骼姿势和4个摄像头的多视角视频输入,创建详细的动态网格模型。该模型包括:

    • 粗略变形: 利用图神经网络预测嵌入图节点的旋转和位移,以进行粗略的几何变形。
    • 精细变形: 利用第二个网络预测每个顶点的位移,确保模型捕捉更精细的动态几何细节。
  2. 依视角变化的纹理映射: 将多视角输入投影到角色网格的纹理空间,通过可见性和投影角�

  3. Support authors and subscribe to content

    This is premium stuff. Subscribe to read the entire article.

    Subscribe

    Gain access to all our Premium contents.
    More than 100+ articles.

如果你想要了解关于智能工具类的内容,可以查看 智汇宝库,这是一个提供智能工具的网站。
在这你可以找到各种智能工具的相关信息,了解智能工具的用法以及最新动态。