[ComfyUI] Soul开源播客合成模型SoulX-Podcast:专为多轮播客及多说话人对话场景打造的TTS工具

一、SoulX-Podcast介绍

AI语音领域迎来重大创新—Soul推出的SoulX-Podcast语音模型,这是一款专门为多人、多轮对话场景打造的一款语音生成模型!以其革命性功能迅速成为行业焦点。该模型专为播客式内容设计,实现了高真实度的语音生成,支持长时段、多说话人、多语种交互,标志着AI在自然对话模拟上的又一里程碑。

多语种与方言支持:中英双语+方言无缝融合

  • 长篇、多轮、多说话人对话语音生成 :SoulX-Podcast 擅长为多轮、多说话人场景生成高质量、听起来自然的对话语音。
  • 跨方言、零样本语音克隆 :SoulX-Podcast 支持跨不同汉语方言的零样本语音克隆,能够生成任何支持的方言的高质量、个性化语音。
  • 副语言控制 :SoulX-Podcast 支持各种副语言事件,如笑声和叹息声,以增强合成结果的真实感。

[ComfyUI] Soul开源播客合成模型SoulX-Podcast:专为多轮播客及多说话人对话场景打造的TTS工具

 二、相关安装

ComfyUI-SoulX-Podcast:https://github.com/flybirdxx/ComfyUI-SoulX-Podcast

主要特性
  • 🎙️ 双人播客生成:支持两个说话人的对话生成
  • 🌍 多方言支持:支持多种中文方言(需使用方言模型)
  • 📝 灵活的对话脚本:通过简单的脚本格式定义对话
  • 🎵 提示音频驱动:使用参考音频(Suno)来克隆说话人的音色
  • 🔄 长文本生成:支持生成长篇播客内容
  • 🎛️ 可视化工作流:在 ComfyUI 中通过节点连接完成整个生成流程

模型安装路径:

ComfyUI/
  └── models/
      └── TTS/
          └── SoulX-Podcast-1.7B/
              ├── soulxpodcast_config.json
              ├── flow.pt
              ├── hift.pt
              ├── campplus.onnx
              └── [LLM模型文件...]

模型类型说明:

  • 标准模型(如 SoulX-Podcast-1.7B):适用于标准普通话播客生成
  • 方言模型(如 SoulX-Podcast-1.7B-dialect):支持多种中文方言生成,如河南话、四川话、粤语等

重要提示:如需使用方言功能,请确保加载 SoulX-Podcast-1.7B-dialect 模型。在 SoulX Podcast Loader 节点的 model_name 参数中选择对应的方言模型。

三、工作流示例

以下是一个完整的 ComfyUI 工作流示例,展示了如何使用这些节点:

[ComfyUI] Soul开源播客合成模型SoulX-Podcast:专为多轮播客及多说话人对话场景打造的TTS工具

导入工作流:

您可以直接在 ComfyUI 中导入网盘的工作流 JSON 文件:example_workflow.json

该示例包含:

  • 模型加载配置
  • 双说话人提示音频(男声和女声)
  • 完整的对话脚本示例
  • 所有必需的节点连接

普通话版工作流:

[ComfyUI] Soul开源播客合成模型SoulX-Podcast:专为多轮播客及多说话人对话场景打造的TTS工具

方言版工作流:

[ComfyUI] Soul开源播客合成模型SoulX-Podcast:专为多轮播客及多说话人对话场景打造的TTS工具

常见问题:

Q1: 模型加载失败

问题:提示 "Model path does not exist" 或 "No models found"

解决方案:

  1. 确保模型文件放在 ComfyUI/models/TTS/[模型名称]/ 目录下
  2. 检查模型目录是否包含所有必需文件
Q2: 生成音频音色不稳定

解决方案:

  1. 使用更长、更清晰的提示音频(建议 10 秒左右)
  2. 确保提示音频质量良好,无明显噪音

Q3: 生成速度慢

解决方案:

  1. 如果支持,使用 vllm 引擎
  2. 开启 fp16_flow 减少显存占用
  3. 减少 max_tokens 值

Q4: 对话脚本格式错误

错误示例:

S1 你好  # ❌ 缺少方括号

正确格式:

[S1] 你好  # ✅ 正确
[S2] 你好  # ✅ 正确

四、效果预览

五、总结:

这一发布无疑将推动AI语音在媒体、娱乐和教育领域的广泛应用。专家指出,SoulX-Podcast的出现,将挑战传统录音棚模式,让小型团队也能高效产出高质量播客内容。未来,随着模型的迭代,预计将进一步扩展到实时交互和跨平台集成。

下载权限

查看
  • ¥
    免费下载
    评论并刷新后下载
    登录后下载
  • 免费下载
    免费下载:
    签到可领取积分

查看演示

  • {{attr.name}}:
您当前的等级为
登录后免费下载登录 小黑屋反思中,不准下载! 评论后刷新页面下载评论 支付免费指引:【签到得积分即可下载】 请先登录 您今天的下载次数(次)用完了,请明天再来 支付积分免费指引:【签到得积分即可下载】立即支付 支付免费指引:【签到得积分即可下载】立即支付 您当前的用户组不允许下载升级会员
您已获得下载权限 您可以每天下载资源次,今日剩余次
温馨提示:本站提供的一切软件、教程和内容信息都来自网络收集整理,仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负,版权争议与本站无关。在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
5人已打赏
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
❯
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索