Heygem数字人是开源的,可以在本地上运行。能够轻松克隆音色并通过文本生成对应音色的音频。不仅小同时速度快效果吊炸天!声音、音频解决了,接入开源数字人Heygem,效果炸裂。但它的安装很麻烦,没点技术也很难装好使用。同时对硬件设备也有一定的要求。跑起来至少8G以上显存支持。
HeyGem简介:
HeyGem 是由硅基智能推出的一款开源 AI 数字人模型,旨在为用户提供高质量、低门槛的数字人视频生成体验。与传统的数字人制作工具相比,HeyGem 的最大亮点在于其全离线操作和高效的视频合成能力。基于TTS+HeyGem能轻松打造个性化数字人。
HeyGem 的主要优点:
- 高效的视频生成能力:用户仅需上传一张照片或一秒钟的视频,HeyGem 即可在 30 秒内克隆出你的数字人形象,并在 60 秒内生成 4K 超清视频,确保口型与语音高度同步,动作自然流畅。
- 全离线操作,保护隐私:HeyGem 支持在 Windows 和 Linux 系统上本地部署,用户无需联网即可使用,有效保护个人隐私,避免数据泄露的风险。
- 低硬件要求,广泛适用:即使是配备 NVIDIA 1080Ti 显卡的设备,也能流畅运行 HeyGem,实现高质量的视频生成。
- 支持多语言输出:HeyGem 支持包括中文、英语、日语、韩语、法语、德语、阿拉伯语和西班牙语在内的多种语言,满足全球用户的需求。
- 开源免费,零代码门槛:HeyGem 在 GitHub 上开源,用户可以根据官方教程进行部署,甚至无需编程经验即可上手使用,降低了数字人制作的门槛。
数字人安装与体验
Heygem本地安装:https://github.com/duixcom/Duix.Heygem(网盘附整合包)
核心就一个节点 HeyGem Video Synthesis,分别接入下视频和音频即可,音频用我们IndexTTS生成的就好。视频的话我们需要上传一个,HeyGem主要是给视频对口型的。
工作流如下:
我们先加载一段音频,用于音色克隆。
加载视频和音频,进行heygem视频合成。
HeyGem数字人对口型速度非常快,1分钟视频大约仅需2分钟耗时即可。
工作流可在runninghub上运行:https://www.runninghub.cn
最后几句:
以上就是全部的内容:基于RH制作开发的强强联合indexTTS+HeyGEM数字人以根据工作流思路进行尝试搭建,HeyGem目前只有RH版的comfyUI实现。