字节USO模型打破AI绘画‘二选一’困境，完美融合主体与风格生成

一、USO模型介绍

USO (Unified Style-Subject Optimized) 是字节跳动 UXO 团队开发的lora模型，统一了风格驱动和主体驱动生成任务。 基于 Flux.1-dev 架构构建，该模型通过解耦学习和风格奖励学习 (SRL) 实现了风格相似性和主体一致性。USO能够处理单个任务及其自由组合，同时在主体一致性、风格保真度和文本可控性方面表现出卓越的性能。

模型亮点

1. 统一框架：首个将风格迁移和主体一致性结合在一个框架中的模型
2. 三种生成模式：主体驱动、风格驱动和风格-主体组合驱动生成
3. 多风格支持：混合多种艺术风格创造独特效果
4. 布局控制：保持原始构图或根据需要变换布局
5. Flux架构：基于 FLUX 架构构建

二、相关安装（文末下载模型）

更新 ComfyUI 到最新版本

如果加载工作流时有节点缺失，可能原因有：
你用的不是最新开发版（nightly）。
你用的是稳定版或桌面版（没有包含最新的更新）。
启动时有些节点导入失败。

模型安装：（文末网盘下载）

1.checkpoints

• flux1-dev-fp8.safetensors

2.loras

• uso-flux1-dit-lora-v1.safetensors

3.model_patches

• uso-flux1-projector-v1.safetensors

4.clip_visions

• sigclip_vision_patch14_384.safetensors

模型安装路径：

📂 ComfyUI/
├── 📂 models/
│ ├── 📂 checkpoints/
│ │ └── flux1-dev-fp8.safetensors
│ ├── 📂 loras/
│ │ └── uso-flux1-dit-lora-v1.safetensors
│ ├── 📂 model_patches/
│ │ └── uso-flux1-projector-v1.safetensors
│ ├── 📂 clip_visions/
│ │ └── sigclip_vision_patch14_384.safetensors

三、工作流及体验（文末下载）

完全可以替代Flux的Redux,实现风格迁移，是一个不错的效果

1. 加载模型：
   • 1.1 确保 Load Checkpoint 节点已加载 flux1-dev-fp8.safetensors
   • 1.2 确保 LoraLoaderModelOnly 节点已加载 dit_lora.safetensors
   • 1.3 确保 ModelPatchLoader 节点已加载 projector.safetensors
   • 1.4 确保 Load CLIP Vision 节点已加载 sigclip_vision_patch14_384.safetensors
2. 点击 Upload 上传我们提供的输入图像
3. 在示例中，我们只使用 content reference 图像输入。如果你想使用 style reference 图像输入，可以使用 Ctrl+B 绕过标记的节点组。
4. 编写你的提示词或保持默认设置
5. EasyCache 节点用于推理加速，但也会牺牲一些质量和细节。如果不需要使用，可以用 Ctrl+B 绕过它。
6. 点击 Run 按钮，或使用快捷键 Ctrl(Cmd) + Enter 运行工作流

官版的工作流还是很简单的，上面说的这几个模型都加载进来后，主体图片加载后传进来即可，有个新节点叫USO Reference Conditioning，这个就是用来读取图片信息的，和以前的Kontext的ReferenceLatent功能类似。后续补充更多USO模型

五、总结

USO，一个能够进行主体驱动、风格驱动以及联合风格-主体驱动生成的统一框架。本文引入了一种跨任务协同解耦范式，该范式首先构建了一个系统的三元组策划流程，然后在策划的三元组上应用渐进式风格对齐和内容-风格解耦训练。此外，提出了一种风格奖励学习范式来进一步提升性能。为了全面评估我们的方法，构建了USO-Bench，一个为现有方法提供特定任务和联合评估的统一基准。最后，大量实验证明USO在主体驱动、风格驱动及其联合风格-主体驱动任务上设立了新的最先进结果，展现出卓越的主体一致性、风格保真度和文本可控性。