京东开源图像模型JoyAI-Image-Edit，空间编辑与理解能力达到世界一流水平

一、JoyAI-Image-Edit介绍

JoyAI-Image 是一个统一的多模态基础模型，用于图像理解、文本到图像的生成以及指令引导的图像编辑。它结合了 8 亿像素的多模态大型语言模型 (MLLM) 和 16 亿像素的多模态扩散变换器 (MMDiT)。JoyAI-Image 的核心原则是理解、生成和编辑之间的闭环协作。更强大的空间理解能力通过更优的场景解析、关系基础和指令分解来提升基于场景的生成和可控的编辑，而诸如视角变化之类的生成变换则为空间推理提供了补充证据。

• 统一的多模态基础：通过共享的 MLLM-MMDiT 接口，实现理解、生成和编辑的单一模型系列。
• 实用数据和训练方案：一个可扩展的管道，包含空间理解数据（OpenSpatial）、长文本渲染数据、编辑数据（SpatialEdit）和多阶段优化策略。
• 唤醒空间智能：通过理解和生成之间的双向循环，增强空间理解力、可控空间编辑能力和新颖视角辅助推理能力。
• 高级视觉生成：强大的长文本排版、布局保真度、多视图生成和可控编辑，并能更好地保留场景结构。

二、相关安装（网盘下载）

JoyAI_Image插件：https://github.com/smthemex/ComfyUI_JoyAI_Image

模型（文末下载）：joy_image_transformer.safetensors

模型路径：

├── ComfyUI/models/
|     ├── diffusion_models/
|        ├──joy_image_transformer.safetensors
|     ├── vae/
|        ├──Wan2.1_VAE.pth
|     ├── clips
|        ├──JoyAI-Image-Und-merger_bf16.safetensors

三、工作流

云端示例：https://www.runninghub.cn/post/2042255778484064257

四、总结