美团 LongCat-AudioDiT 开源：刷新音色克隆 SOTA

一、LongCat-AudioDiT介绍

LongCat AudioDiT 是美团 LongCat 团队于 2026 年 3 月开源的SOTA 级中文语音合成（TTS）模型，美团最先进的基于扩散的文本转语音模型 LongCat-AudioDiT，该模型在人工智能音频领域引起了广泛关注。与依赖梅尔频谱图等中间表示的传统文本转语音系统不同，LongCat-AudioDiT 直接在波形潜在空间中运行，显著简化了流程，并消除了累积误差。其结果是音频更清晰、语音相似度更高，且韵律自然，听起来更像真人。它主打零样本语音克隆，核心技术亮点在于直接在波形潜空间（Waveform Latent Space）进行扩散生成，彻底颠覆了传统 TTS “文本→梅尔谱→波形” 的多阶段流程，在音色相似度和生成效率上均达到行业领先水平。

LongCat-AudioDiT 抛弃了传统的“预测声学特征+神经声码器”的多阶段流程，构建了由 Wav-VAE（波形变分自编码器） 与 DiT（扩散 Transformer） 组成的极简架构。

• 高效 Wav-VAE: 采用全卷积设计，将24kHz 波形压缩2000倍至11.7Hz 帧率。通过非参数捷径分支与多目标对抗训练，确保了重建波形在保持精确时频结构的同时，拥有极佳的自然听感。
• 语义增强 DiT: 模型创新性地将 UMT5文本编码器的原始词嵌入与顶层隐藏状态融合，补齐了高层语义中丢失的音素细节，大幅提升了生成语音的可懂度。

二、相关安装

WanVideoWrapper插件：

https://github.com/kijai/ComfyUI-WanVideoWrapper

LongCat-AudioDiT插件：（基于扩散的零样本文本转语音）

https://github.com/meituan-longcat/LongCat-AudioDiT

LongCat-AudioDIT-TTS插件：（波形潜在空间中的高保真扩散文本转语音）

https://github.com/Saganaki22/ComfyUI-LongCat-AudioDIT-TTS

模型路径：

ComfyUI/
├── models/
│   └── audiodit/
│       ├── LongCat-AudioDiT-3.5B/          # FP32 model (auto-downloaded)
│       ├── LongCat-AudioDiT-3.5B-bf16/     # BF16 model (auto-downloaded)
│       └── LongCat-AudioDiT-3.5B-fp8/      # FP8 model (auto-downloaded)
└── custom_nodes/
    └── ComfyUI-LongCat-AudioDIT-TTS/
        ├── __init__.py                      # Node registration + auto-install
        ├── pyproject.toml
        ├── requirements.txt
        ├── nodes/
        │   ├── tts_node.py                  # TTS node
        │   ├── voice_clone_node.py          # Voice clone node
        │   ├── multi_speaker_node.py         # Multi-speaker node
        │   ├── loader.py                    # Model loading + attention patching
        │   └── model_cache.py               # Caching + offload logic
        └── audiodit/
            ├── __init__.py                  # AutoConfig/AutoModel registration
            ├── modeling_audiodit.py         # AudioDiT model implementation
            ├── configuration_audiodit.py    # Config class
            ├── fp8_linear.py                # FP8 layer (unused, kept for reference)
            └── utils.py

模型下载及安装：

原始模型 (FP32)： https://huggingface.co/meituan-longcat/LongCat-AudioDiT-3.5B

模型 (BF16 )： https://huggingface.co/drbaph/LongCat-AudioDiT-3.5B-bf16

模型 (FP8)： https://huggingface.co/drbaph/LongCat-AudioDiT-3.5B-fp8

三、工作流

单人语音克隆：

多人语音克隆

总结：

LongCat-AudioDiT通过逼真的语音克隆提升内容质量，而无需进行复杂微调的人工智能创作者、开发者和爱好者。无论您是正在寻找更佳文本转语音工具的 YouTuber、构建多模态人工智能应用程序的开发者，还是探索基于扩散的语音合成前沿领域的研究人员，LongCat-AudioDiT都将对您有所帮助。即使您之前尝试过语音克隆，但对机械化的结果感到失望，也请您了解一下 LongCat-AudioDiT。LongCat-AudioDiT 代表了 TTS 领域的一次意义重大的进步。