一、什么是Flux?
Flux AI是由Black Forest Labs推出的一款最新的文本生成图像模型,这个团队是由从Stable Diffusion离开的原班人马,创立的全新用于AI绘图的大模型。Flux AI模型以其卓越的视觉质量、精确的提示词遵循、多样化的风格和复杂场景生成能力而著称。它包含三个版本:FLUX.1 [pro]、FLUX.1 [dev]和FLUX.1 [schnell],分别针对不同的使用场景和需求。
Flux 于 2024 年 8 月推出的最新一代的文生图大模型,特点就是分辨率高、提示词精准和识别能力强。目前是业内开源大模型的标杆。当然,现在 QWEN 已经出来了,后续有机会可以给大家做个模型之间的比较。下方是 FLUX 模型生成的一些图片,我们看下实际出图效果,会发现在细节上会比 SDXL 等老版本的模型表现更加出色,光感和材质的质感也表现的很出色。
Flux官网首页:https://blackforestlabs.ai/

FLUX.1 Pro
是专为商业用途设计的闭源模型,提供最先进的图像生成性能。
FLUX.1 Dev
是一个开源的引导蒸馏模型,适用于非商业应用。
FLUX.1 Schnell
是专为本地开发和个人使用设计的快速版本。
FLUX.1 模型套件包含三个版本,分别针对不同的用户群体和应用场景:

| 版本 | FLUX.1 [pro] | FLUX.1 [dev] | FLUX.1 [schnell] |
|---|---|---|---|
| 「目标用户」 | 商业用户 | 开发者/研究者 | 个人用户/本地开发 |
| 「权重获取」 | API 访问 | HuggingFace 开放下载 | HuggingFace 开放下载 |
| 「许可证」 | 商业许可 | 非商业许可 | Apache 2.0 |
| 「用途」 | 商业应用 | 非商业应用/研究 | 个人使用/研究 |
| 「质量」 | 最佳 | 接近 pro 版本 | 针对速度优化 |
Flux AI模型采用了创新的混合架构,结合了多模态处理能力和并行扩散机制的Transformer技术,并扩展至高达120亿个参数。这些模型在训练生成模型的方法上采用了流匹配技术,这种方法不仅通用性强,而且概念简洁,特别适用于包括扩散过程在内的各种情况。

dev整合版 效果最好,Schnell速度最快,NF4效果接近dev,对显卡要求最低。显卡好就dev,显卡不好就NF4。
推荐以下三个版本,按需要选择一个即可。
DEV整合版本, 文件大小: 16G
Schnell整合版加速版本, 文件大小: 16G
NF4 整合显存版本, 文件大小:11G
二、模型安装位置
使用 FLUX 不仅需要使用 FLUX 本体,还需要下载 CLIP 以及对应的 VAE;
我这么贴心肯定已经已经下载好,上传到文末网盘了。大家可以根据下方的官方地址下载,也可以去文章末尾的百度网盘下载,网盘中有这节课用到的所有模型、工作流等内容。
下载 Flux 模型:
FLUX 模型有四个可选,FLUX.1 [dev] 、FLUX.1 [dev] fp8、FLUX.1 [schnell]、FLUX.1 [schnell] fp8;
flux存放路径:\ComfyUI\models\unet\FLUX
下载loras 模型:
loras存放路径:\ComfyUI\models\loras
下载 CLIP 模型:
需下载 t5xxl_fp16.safetensors 或 t5xxl_fp8_e4m3fn.safetensors (建议 fp8 版本,如果你显存超过 32G 可选择 fp16 版本)和 clip_l.safetensors 到 ComfyUI/models/clip/ 目录中;
下载 VAE 模型:
下载 ae.sft 存放至 ComfyUI/models/vae/ 目录;
三、FLUX 工作流


ok,今天的分享到这里就结束啦,本篇文章主要帮助大家从 0-1 熟悉 Flux 模型和之前模型的差异点,并分享了 flux 模型基本工作流的搭建方法,包括文生图、图生图、局部重绘、高清放大。不难发现,工作流中很多节点和之前的 SDXL、SD1.5 没有太大改变,只是在模型加载和提示词调整这两部分有些许的变动,所以大家不用担心 Flux 的上手难度会很大。了解了原理之后,我觉得反而比之前的工作流更精简、也更容易理解了。









































版主,你在网盘里的内容都需要下载吗?
我的显卡是8G的,都应该下载那些东西呢