一、Z-Image ControlNet 2介绍
Z-Image ControlNet 2.0是基于Z-Image-Turbo(6亿参数单流扩散架构)开发的精确图像控制模型,专为复杂场景设计,支持多模态控制条件的融合输入。Z-Image(造相) 是阿里巴巴通义实验室开发的一个强大且高效的图像生成模型,拥有 6B 参数。它采用 可扩展单流 DiT(S3-DiT)架构,将文本、视觉语义 token 和图像 VAE token 在序列级别进行拼接,作为统一的输入流,最大化参数效率。

模型特性
- 支持多种标准ControlNet控制条件:
- ✅Canny:边缘检测
- ✅HED:软边缘检测
- ✅Depth:深度图(与Depth Anything V2/V3配合效果最佳)
- ✅Pose:人体姿态
- ✅MLSD:直线段检测(建筑/室内设计)
- ✅Inpainting:局部重绘模式
二、相关安装
大家把ComfyUI本体更新到最新的即可。(Comfyui>0.4)
模型地址:
model/model_patches/Z-Image-Turbo-Fun-Controlnet-Union-2.0.safetensors
model/model_patches/Z-Image-Turbo-Fun-Controlnet-Union-2.1.safetensors
模型安装路径:
📂 ComfyUI/
├── 📂 models/
│ ├── 📂 diffusion_models/
│ │ └── z_image_turbo_bf16.safetensors
│ ├── 📂 model_patches/
│ │ └── Z-Image-Turbo-Fun-Controlnet-Union.safetensors
│ │ └── Z-Image-Turbo-Fun-Controlnet-Union-2.0.safetensors
│ │ └── Z-Image-Turbo-Fun-Controlnet-Union-2.1.safetensors
│ ├── 📂 text_encoders/
│ │ └── qwen_3_4b.safetensors
│ └── 📂 vae/
│ └── ae.safetensors
三、ConterlNet介绍:
✅Pose(人体姿态)
给模型一张“火柴人骨架”,它就能照着摆姿势生成完整人物。 常用于人物生成,确保动作和姿势准确。 举例:你画一个举手的火柴人,它就能生成一个举手的美女。


✅Canny(边缘检测)
就像用铅笔把图像的轮廓线勾出来。 模型会根据这些线条生成图像,适合保留物体的形状和结构。 举例:你给一张房子的线稿,它就能生成一张真实的房子图。


✅HED(Holistically-Nested Edge Detection,全局边缘检测)
比 Canny 更智能的“描边”,能抓住更细腻的轮廓和边缘。 适合需要更精细的线条控制,比如人物的五官、复杂的背景。 举例:画漫画时,HED 能帮你提取更干净的线稿。


✅Depth(深度图)
就像告诉模型“前面近,后面远”。 用灰度图表示物体的远近关系,帮助生成有空间感的画面。 举例:一张山景的深度图能让模型生成有层次感的风景。


✅MLSD(直线检测,Line Segment Detection)
专门用来提取直线结构,比如建筑、房间、家具。 模型会根据这些直线生成规整的空间或物体。 举例:你给一张房间的线框图,它就能生成真实的室内效果图。
三、工作流及体验
工作流还是Z-image文生图,增加了Controlnet的模型,效果就好很多了。

工作流核心加载节点:ModelPatchLoader

总结:
Z-Image ControlNet 2.0是阿里巴巴在轻量级高性能ControlNet领域的重要迭代,虽然在极端细节场景仍有优化空间,但其低显存需求和快速推理能力为创作者提供了高效工具。建议关注官方仓库获取最新修复版本。








































看看,感谢分享