最新Flux v3版本Controlnet：XLabs ControlNet：X-flux-comfyui

一、Flux ControlNet 介绍

近日，XLabs-AI团队进一步推出了两款新的ControlNet模型，分别是深度（Depth）模型和线稿（HED）模型。同时，团队还对之前发布的硬边缘（Canny）模型进行了进一步的优化和改进。这些新模型的发布和现有模型的改进大大丰富了Flux模型的应用场景，提升了其在图像处理和生成任务中的灵活性和效果。

自从官方发布了lora模型，在上一篇文章中有介绍过，社区中涌现出了大量的LORA模型，展现出蓬勃的发展势头。对于Flux模型来说，这些新的ControlNet模型标志着其在可控性方面的又一个重要里程碑。因此，XLabs-AI团队在LORA和ControlNet的训练上受到了广泛关注。

这些新模型的引入，不仅大大丰富了Flux模型的应用场景，还为开发者提供了更多灵活的工具，能够更精准地处理和生成图像。深度（Depth）模型能够捕捉图像中的三维结构信息，适用于场景重建和增强现实等应用；线稿（HED）模型则专注于生成高质量的边缘检测图像，适用于图像分割和特征提取等任务。

二、x-flux-comfyui使用

x-flux-comfyui 依赖于 FLUX 框架，后者是一种基于 Python 的图像生成和编辑工具，具有高度模块化的特点。x-flux-comfyui 通过引入自定义节点和模型，扩展了 FLUX 的功能。以下是项目的主要技术特点：

• 自定义节点：x-flux-comfyui 提供了多个自定义节点，这些节点可以与 FLUX 的现有节点无缝集成，从而实现更复杂的图像处理任务。
• 模型集成：项目集成了多种预训练模型，如 Canny ControlNet、Depth ControlNet、HED ControlNet 和 LoRA，这些模型可以用于不同的图像处理场景，如边缘检测、深度估计、边缘分割和风格迁移等。
• 内存优化：x-flux-comfyui 支持低内存模式，允许用户在有限的 VRAM 条件下运行 FLUX，从而降低了硬件要求。

步骤 1：克隆项目

首先，您需要从 GitHub 上克隆 x-flux-comfyui到ComfyUI 的 custom_nodes 目录下

git clone https://github.com/XLabs-AI/x-flux-comfyui.git

步骤 2：安装依赖
进入 x-flux-comfyui 目录，运行以下命令安装项目依赖：

pip install -r requirements.txt

步骤 3：安装自定义节点
在 x-flux-comfyui 目录中，运行以下命令来安装自定义节点：

python setup.py

步骤 4：配置 ComfyUI

安装完成后，首次启动后，将自动创建 ComfyUI/models/xlabs/loras和 ComfyUI/models/xlabs/controlnets 文件夹。

因此，要使用 lora 或 controlnet，只需将模型放在这些文件夹中即可。（文末有下载入口）

模型下载：

x-flux-comfyui为FLUX.1训练了 ControlNet：Canny 、Depth ControlNet、HED ControlNet 和 LoRA。

模型下载：

• flux-controlnet 集合
• flux-controlnet-canny
• flux-Realism Lora （流度-现实主义劳拉）
• flux-lora-collections
• flux-furry-lora
• flux-ip 适配器

步骤 5：安装额外插件（可选）

对于 controlnet，您需要安装 comfyui_ControlNet_aux

按照以上步骤操作后，您应该已经成功安装了 x-flux-comfyui，并可以在 ComfyUI 中使用相关的自定义节点了。

节点演示：