一、Qwen-Image-ControlNet-Union介绍
通义千问多合一ControlNet-Union终于来了!实测深度/线稿/重绘/姿势四大控制,操作简化10倍! InstantX新推出的Qwen-Image-ControlNet-Union,这个模型3.29G,InstantX团队出的CN控制模型一直都是精品,Flux也是这个团队出的最好用,这次终于有了,太妙了,前面(Qwen-Image的Controlnet精准控制图像生成:depth、Canny与Inpaint局部重绘)玩的可以毫不犹豫删了。
Qwen-Image-ControlNet-Union能力
该存储库提供了一个统一的 ControlNet,支持Qwen-Image的 4 种常见控制类型(canny、soft edge、depth、pose)。
- 该 ControlNet 由从预训练的 Transformer 层复制的 5 个双块组成。
- 我们使用 10M 高质量一般图像和人类图像的数据集从头开始训练模型 50K 步。
- 我们在 BFloat16 中以 1328x1328 分辨率进行训练,批量大小 = 64,学习率 = 4e-5。我们将文本删除率设置为 0.10。
- 该型号支持多种控制模式,包括精明、软边、深度、姿势。您可以将其用作普通 ControlNet。
二、相关安装
要想使用最新的这个InstantX家的Controlnet模型,需要更新一下本地的Comfyui>=0.3.52。Controlnet Union 也支持多重控制。也就是我们可以同时开两个控制窗口,使用不同的预处理器,然后同时选择 Controlnet Union 做为控制模型,这样运行起来显存压力更小。
模型地址:文末下载
官方模型:diffusion_pytorch_model.safetensors(建议重命名一下否则后续分不清具体模型)
模型地址:https://huggingface.co/InstantX/Qwen-Image-ControlNet-Union
模型路径:
comfyUI/models/controlne/qwen-image
核心应用:
要使用InstantX的ControlNet也很简单,用法和Flux生态下一样,你看下这个图就知道了(Flux ControlNet V2 控图模式:FLUX.1-dev-ControlNet-Union-Pro-2.0)
注意:Union模型,同时支持四种模型,所以这里一样要使用设置UnionControlNet类型来选择模型类型。
三、官方演示
四、总结
以上就是Qwen-Image最强ControlNet的测试体验了,超级棒,可比前几天测评的好太多了。快玩起来吧。技术的迭代是飞快的,要关注最新的消息才不会掉队。