Ultralight-Digital-Human ：支持在移动设备上实时运行的超轻量级数字人模型

Ultralight-Digital-Human 是一个创新的开源项目，使得数字人在移动设备上的实时应用成为可能，旨在实现超轻量级的数字人模型，其能够在移动设备上实时运行。

• 支持在移动设备上实时运行的超轻量级数字人模型
• 提供了详细的训练和推理步骤,用户可以轻松训练出自己的数字人
• 支持使用 wenet 和 hubert 两种不同的音频特征提取方式,满足不同场景需求
• 训练过程中可以使用同步网络(syncnet)获得更好的效果

应用场景:

• 用户可以在移动设备上实时生成数字人形象，用于社交应用、游戏和虚拟现实等场景。

技术细节:

• 该模型优化了算法，使其在低功耗设备上也能流畅运行。使用深度学习技术，结合图像和音频输入，实时合成数字人形象。
• 在训练和部署过程中，模型会进行压缩和剪枝，去掉冗余的参数，以减少模型的大小和计算需求。这有助于在移动设备上更流畅地运行。
• 支持多种音频特征提取方法，如 Wenet 和 Hubert，能够快速从音频中提取关键特征。这种高效的特征提取有助于减少处理时间和资源消耗。
• 通过优化的数据流和推理过程，该模型能够实时处理输入数据（如视频和音频），实现即时的数字人反应。

创新性:

• 与传统数字人模型需要高性能硬件不同，Ultralight-Digital-Human 可以在普通智能手机上实现复杂的数字人效果，极大地扩展了其应用的普及性。
• 支持多种操作系统和平台，能够在不同类型的智能手机上运行，增加了其普遍适用性。

注意事项

1. 数据质量:
   • 确保用于训练的视频和音频质量良好。视频中的人脸应清晰可见，音频应无杂音和干扰。
2. 数据准备:
   • 准备包含3-5分钟清晰人脸的视频，确保视频帧率符合要求（Wenet 为 20fps，Hubert 为 25fps）。
3. 音频特征提取:
   • 在训练前，确保已成功提取音频特征。错误的特征提取会影响模型训练效果。
4. 训练参数调整:
   • 在训练过程中，注意调整学习率、批量大小等参数。初始设置可能需要根据训练结果进行微调。
5. 监控训练进度:
   • 定期检查训练日志，监控损失值和准确率。如果损失不下降，可能需要调整参数或检查数据。
6. 使用预训练模型:
   • 尽量使用预训练的模型作为起点，这样可以加速训练并提高效果。

GitHub：https://github.com/anliyuan/Ultralight-Digital-Human