Suno平替模型：ComfyUI ACE-Step—开启AI音乐创作新纪元

一、ACE-Step介绍

comfyui ACE-Step是一款专为ComfyUI打造的强大音乐生成插件，为音乐创作带来了全新的可能性。

• 多风格音乐生成：能够生成各种主流音乐风格，涵盖流行、摇滚、古典、爵士、电子等多种类型。比如可以轻松创作出具有复古风格的80年代流行曲，或是充满未来感的电子音乐。
• 特定场景音乐制作：适用于不同场景的音乐制作需求。如为电影、游戏中的紧张追逐场景生成节奏紧凑、充满张力的音乐；为浪漫的爱情场景创作舒缓、柔情的背景音乐。
• 多语言歌词支持：支持19种语言的歌词输入，创作者可以用中文、英文、日文等多种语言输入歌词来生成歌曲，例如创作一首中文的古风歌曲，或是英文的民谣。
• 个性化音乐定制：通过调整参数和输入不同的文本描述，实现音乐的个性化定制。如根据用户对乐器组合、节奏快慢、旋律走向等要求，生成独一无二的音乐作品。

二、插件安装

ComfyUI_ACE-Step：https://github.com/billwuhao/comfyui_ACE-Step

安装方法：

进入comfyui/custom_nodes目录。
执行pip install -r requirements.txt安装依赖。
也可使用./python_embeded/python.exe -m pip install -r requirements.txt安装。
手动下载模型并放置在models/tts/ace-step-v1-3.5b目录。

模型及下载地址：

相关网盘模型工作流都有提供：文末网盘模型下载

ACE - Step模型：下载后放置在comfyUI/models/checkpoint目录。

三、工作流及体验

1. 文字到音频工作流

点击下面的按钮下载对应的工作流文件，拖入 ComfyUI 中即可加载对应的工作流信息，对应工作流已包含模型下载信息。

按步骤完成工作流的运行

1. 确保 Load Checkpoints 节点加载了 ace_step_v1_3.5b.safetensors 模型
2. 在 TextEncodeAceStepAudio 的 tags 输入对应的音乐风格等等
3. 在 TextEncodeAceStepAudio 的 lyrics 中输入对应的歌词，如果你不知道该输入哪些歌词
4. 点击 Run 按钮，或者使用快捷键 Ctrl(cmd) + Enter(回车) 来执行音频的生成。
5. 等待内容生成返回结果后，你可在 Save Audio 节点中查看生成的音频，你可以点击播放试听，对应的音频也会被保存至 ComfyUI/output/audio （由Save Audio节点决定子目录名称）。

3.2 音频到音频工作流

你可以像图生图工作流一样，输入一段音乐，使用下面的工作流来达到重新对音乐采样生成，同样，你也可以通过控制 Ksampler 的 denoise 来调整和原始音频的区别程度

点击下面的按钮下载对应的工作流文件，拖入 ComfyUI 中即可加载对应的工作流信息

按步骤完成工作流的运行

1. 确保 Load Checkpoints 节点加载了 ace_step_v1_3.5b.safetensors 模型
2. 在 LoadAudio 节点上传你需要用于音频重新编辑的音乐（可以使用本文文本到音频工作流生成的结果）
3. 在 TextEncodeAceStepAudio 的 tags 输入对应的音乐风格等等
4. 在 TextEncodeAceStepAudio 的 lyrics 中输入对应的歌词，可以参考文本提示词指南部分（仍在更新中）或 ACE-Step 项目页面中的歌词示例
5. 修改 Ksampler 节点的 denoise 参数，来调整采样过程中添加的噪声来调整与原始音频的相似程度，（越小与原始音频越相似，如果设置为 1.00则可以近似认为没有音频输入）
6. 点击 Run 按钮，或者使用快捷键 Ctrl(cmd) + Enter(回车) 来执行音频的生成。
7. 等待内容生成返回结果后，你可在 Save Audio 节点中查看生成的音频，你可以点击播放试听，对应的音频也会被保存至 ComfyUI/output/audio （由Save Audio节点决定子目录名称）。

四、ACE-Step 提示词指南

ACE 的提示词目前使用的有两个，一个是 tags 一个是 lyrics。

• tags： 主要用来描述音乐的风格、场景等, 和我们平常其它生成的 prompt 类似，主要描述音频整体的风格和要求，使用英文逗号分隔
• lyrics： 主要用来描述歌词，支持歌词结构标签，如 [verse]（主歌）、[chorus]（副歌）和 [bridge]（过渡段）来区分歌词的不同部分，也可以在纯音乐情况下输入乐器名称

对应的 tags 和 lyrics 在 ACE-Step 模型主页 中可以找到丰富的示例,你可以参考对应示例来尝试对应的提示词，本文档的提示词指南基于项目做了一些整理，以便让你能够快速尝试组合，来达到最想要的效果

tags标签(prompt)
​
主流音乐风格
使用简短标签组合，来生成特定风格的音乐

electronic（电子音乐）
rock（摇滚）
pop（流行）
funk（放克）
soul（灵魂乐）
cyberpunk（赛博朋克）
Acid jazz（酸爵士）
electro（电子）
em（电子音乐）
soft electric drums（软电鼓）
melodic（旋律）
​
场景类型
结合具体使用场景和氛围，生成符合对应氛围的音乐

background music for parties（派对背景音乐）
radio broadcasts（电台广播音乐）
workout playlists（健身播放列表音乐）
​
乐器元素
saxophone,
azz（萨克斯风、爵士）
piano, violin（钢琴、小提琴）
​
人声类型
female voice（女声）
male voice（男声）
clean vocals（纯净人声）
​
专业用于
使用音乐中常用的一些专业的用词，来精准控制音乐效果

110 bpm（每分钟节拍数为110）

fast tempo（快节奏）

slow tempo（慢节奏）

loops（循环片段）

fills（填充音）

acoustic guitar（木吉他）

electric bass（电贝斯）

​
歌词（lyrics）
​
歌词结构标签
[outro]
[verse]
[chorus]
[bridge]

多语言支持

• ACE-Step V1 是支持多语言的，实际使用的时候 ACE-Step 会获取到对应的不同语言转换后的英文字母，然后进行音乐生成。
• 在 ComfyUI 中我们并没有完全实现全部多语言到英文字母的转换，目前仅实现了日语平假名和片假名字符 所以如果你需要使用多语言来进行相关的音乐生成，你需要首先将对应的语言转换成英文字母，然后在对应 lyrics 开头输入对应语言代码的缩写，比如中文[zh] 韩语 [ko] 等

比如：

[zh]ni hao
[ko]an nyeong

目前 ACE-Step 支持了 19 种语言，但下面十种语言的支持会更好一些：

• English
• Chinese: [zh]
• Russian: [ru]
• Spanish: [es]
• Japanese: [ja]
• German: [de]
• French: [fr]
• Portuguese: [pt]
• Italian: [it]
• Korean: [ko]

五、总结

ComfyUI ACE - Step插件为音乐创作带来了极大的便利和创新，它打破了传统音乐创作的限制，让更多人能够轻松参与到音乐创作中来。无论是专业音乐制作人还是音乐爱好者，都可以利用该插件快速生成高质量、多样化的音乐作品。通过简单的文本输入和参数调整，就能实现丰富的音乐创意，为音乐创作领域注入了新的活力。同时，其支持多语言歌词输入和多种音乐风格生成的特点，也使得音乐创作更加多元化和个性化。随着技术的不断发展，相信ComfyUI ACE - Step插件将会在音乐创作领域发挥越来越重要的作用，为用户带来更多的惊喜和创作乐趣。