Qwen-Image的Controlnet精准控制图像生成：depth、Canny与Inpaint局部重绘

一、Qwen-Image下ControlNet介绍

Qwen-Image的Controlnet控制模型 是一个控制预训练图像扩散模型的神经网络。它允许输入调节图像，然后使用调节图像来控制图像生成。这里的调节图像类型有很多，比如涂鸦、边缘图、姿势关键点、深度图、法线图、分割图等。这些输入条件都可以作为条件输入来指导生成图像的内容。目前ComfyUI官方已经支持了这块功能，支持了depth、canny以及inpaint的功能。

ControlNet 模型通过引入多模态输入条件（如边缘检测图、深度图、姿势关键点等），显著提升了图像生成的可控性和细节还原能力。 使得我们可以进一步开始控制图像的风格、细节、人物姿势、画面结构等等，这些限定条件让图像生成变得更加可控，在绘图过程中也可以同时使用多个 ControlNet 模型，以达到更好的效果。

二、相关安装

大家更新下ComfyUI本体到最新即可，这样就支持最新的节点 Qwen-Image-DiffSynth-ControlNets和ModelPatchLoader。

模型见文末网盘：

1. canny线稿控制模型：qwen_image_canny_diffsynth_controlnet.safetensors
2. depth深度控制模型：qwen_image_depth_diffsynth_controlnet.safetensors
3. inpaint局部重绘控制模型：qwen_image_inpaint_diffsynth_controlnet.safetensors

模型路径： ComfyUI\models\model_patches

loras文末网盘：

• qwen_image_union_diffsynth_lora.safetensors

Lora路径： ComfyUI\models\loras

三、工作流预览

模型可以中间先接入到Qwen-Image-Diffsynth-Controlnet节点，然后在接入采样器中

这里就可以传入线稿、深度这种预处理的图像，然后也支持遮罩传入，左侧接入今天说的加载模型的节点，一共3个模型。

四、总结

以上就是Qwen-Image的控制模型的分享了，试着制作类似的涂鸦图片，甚至自己手绘，并使用 ControlNet 模型生成图像，体验 ControlNet 带来的乐趣。