DreamOmni：一个模型搞定图像生成与全能编辑，打破传统碎片化！

DreamOmni2 是什么

DreamOmni2是香港中文大学、字节跳动和香港科技大学共同推出的统一图像生成和编辑模型。模型整合文本到图像（T2I）生成和多种编辑任务，包括指令式编辑、修复、拖拽编辑和参考图像生成。DreamOmni2基于一个高效的合成数据管道解决高质量编辑数据的创建难题，支持模型训练和扩展。基于联合训练T2I和编辑任务，强化对概念的理解并提升图像生成质量。在广泛的实验评估中，DreamOmni2以卓越的性能在图像生成和编辑任务中展现显著的优势。

DreamOmni2的主要功能

• 统一图像生成和编辑：DreamOmni 能处理从文本到图像的生成（T2I）以及多种图像编辑任务，如指令式编辑、修复（如修复和扩展）、拖拽编辑和参考图像生成。
• 合成数据管道：用类似贴纸的元素，高效、准确地合成大规模的高质量编辑数据，支持统一模型的训练。
• 联合训练：结合 T2I 数据和各种编辑任务的数据进行训练，提升模型对特定概念的理解，改善生成质量，增强编辑性能。
• 多任务支持：模型能理解和执行添加、移除、替换等操作，及处理图像的平移、旋转和缩放等编辑任务。

DreamOmni2的项目地址

• 项目官网：zj-binxia.github.io/DreamOmni-ProjectPage
• arXiv技术论文：https://arxiv.org/pdf/2412.17098

工作流示例

（示例：暂无Comfyui插件，可前往runninghub体验）

工作流体验：https://www.runninghub.cn/post/1977736186234109954

模型插件等待开放中...

DreamOmni2的应用场景

• 数字艺术创作：艺术家和设计师生成或编辑图像，快速将创意概念转化为视觉作品。
• 游戏开发：游戏开发者创建游戏资产，如角色、环境和道具，或对现有游戏元素进行编辑。
• 电影和娱乐产业：在电影制作中生成特效背景或编辑现有的场景图像，节省成本和时间。
• 广告和营销：营销人员快速生成吸引人的广告图像和营销材料，适应不同的广告渠道。
• 教育和培训：在教育领域，用来创建教学材料，如图解和模拟场景，增强学习体验。