InfiniteTalk官版双人对话工作流

一、InfiniteTalk双人数字人

为解决虚拟人长视频生成的质量退化问题,基础研发平台/计算和智能平台部/视觉智能团队推出 InfiniteTalk 技术,实现无限时长视频生成。该技术口型精准且动作流畅,支持“语音驱动图像”和“语音驱动视频”多种模式,已在 GitHub 开源并获 1.6K Stars, Hugging Face 月下载量 64.8K,受到了很多好评,能够应用到电商直播、教育、影视等领域。

InfiniteTalk官版双人对话工作流

应用场景

  • 营销: 电商营销视频、商家数字人直播、虚拟人导购
  • 培训:虚拟人讲师、虚拟人陪练、在线教育
  • 娱乐:短视频创作、虚拟偶像、游戏

二、相关安装

插件音频插件:https://github.com/ryanontheinside/ComfyUI_RyanOnTheInside

模型地址:https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/tree/main/split_files/model_patches

InfiniteTalk官版双人对话工作流

核心就是上面这2个模型,都不是很大,其他的都用wan2.1的模型就好了。

网盘我给大家提供了,自行下载。

模型安装路径:

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   └─── Wan2_1-I2V-14B-480p_fp8_e4m3fn_scaled_KJ.safetensors
│   ├── 📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors
│   ├── 📂 model_patches/
│   │   ├─── wan2.1_infiniteTalk_single_fp16.safetensors
│   │   └─── wan2.1_infiniteTalk_multi_fp16.safetensors
│   ├── 📂 audio_encoders/
│   │   └─── wav2vec2-chinese-base_fp16.safetensors
│   ├── 📂 vae/
│   │   └─── Wan2_1_VAE_bf16.safetensors
│   ├── 📂 loras/
│   │   └─── lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors

三、工作流及体验

双人的话和单人的调整的地方不多,我把核心的和大家说一下。

首先是模型这里调整,改成网盘里面的双人模型

InfiniteTalk官版双人对话工作流

然后是素材的处理,我这里给大家搭建了两种形式,通过分组来使用,不过多轮的我测试了一下午发现效果不大行,所以大家暂时先用默认的。

图片需要上传两次,然后使用遮罩涂抹下要说话的人。 音频也要分别上传一下。

InfiniteTalk官版双人对话工作流

最关键的是在WanInfiniteTalkToVideo里面传入2个音频数据以及各自人物的遮罩。

你需要把mode改成two_speakers,才会出现上面的这些选项。

InfiniteTalk官版双人对话工作流

四、总结:

以前KJ版本那边支持的多人多轮对话,官网我测试下来没效果,就是第二个人不说话。问过其他UP主,也说效果不行,白测了一下午。

所以结论就是,想用多人多轮对话的,继续用之前的KJ版本吧。简单就一轮对话的可以用新的这个,单人的也用官版的。

下载权限

查看
  • ¥
    免费下载
    评论并刷新后下载
    登录后下载
  • 免费下载
    免费下载:
    签到可领取积分

查看演示

  • {{attr.name}}:
您当前的等级为
登录后免费下载登录 小黑屋反思中,不准下载! 评论后刷新页面下载评论 支付免费指引:【签到得积分即可下载】 请先登录 您今天的下载次数(次)用完了,请明天再来 支付积分免费指引:【签到得积分即可下载】立即支付 支付免费指引:【签到得积分即可下载】立即支付 您当前的用户组不允许下载升级会员
您已获得下载权限 您可以每天下载资源次,今日剩余次
温馨提示:本站提供的一切软件、教程和内容信息都来自网络收集整理,仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负,版权争议与本站无关。在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
5人已打赏
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
❯
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索