一、Wan-Alpha介绍
WAN Alpha是万相开源(WanX)2.1版本中的核心组件VAE,主要用于实现图生视频功能。它通过深度学习模型生成高质量动态画面,支持动作特效、角色动画等场景化生成,并具备灵活的参数调节能力。 这个项目是基于wan2.1视频生成模型,通过联合学习RGB和Alpha通道来生成透明视频。一个有效的变分自动编码器(VAE),编码到RGB潜在空间的阿尔法通道来实现。生成了各种场景,具有准确且清晰的透明度。值得注意的是,它可以合成各种半透明物体、发光效果和细粒度细节。
核心功能
- 动态画面生成:支持基于图像或图形生成流畅动态视频素材,适用于影视制作、广告设计等领域。
- 场景化支持:内置多种预设场景(如动态壁纸、角色动画等),用户可通过简单参数调整快速生成个性化内容。
二、相关下载
1.插件(轻量)
安装自定义RGBA视频预览器和PNG帧压缩包。将文件RGBA_save_tools.py复制到ComfyUI/custom_nodes
文件夹中。
1、下载模型
Wan DiT基础模型:wan2.1_t2v_14B_fp16.safetensors
WAN文本编码器:umt5_xxl_fp8_e4m3fn_scaled.safetensors
LightX2V型号:lightx2v_T2V_14B_cfg_step_cn_v2_lora_rank64_bf16.safetensors
RGBA lora:epoch-13-1500_changed.safetensors
RGB VAE解码器:wan_alpha_2.1_vae_rgb_channel.safetensors.safetensors
Alpha VAE解码器:wan_alpha_2.1_vae_alpha_channel.safetensors.safetensors
模型路径:
将文件复制到ComfyUI/models文件夹中:
ComfyUI/models
├── diffusion_models
│ └── wan2.1_t2v_14B_fp16.safetensors
├── loras
│ ├── epoch-13-1500_changed.safetensors
│ └── lightx2v_T2V_14B_cfg_step_distill_v2_lora_rank64_bf16.safetensors
├── text_encoders
│ └── umt5_xxl_fp8_e4m3fn_scaled.safetensors
├── vae
│ ├── wan_alpha_2.1_vae_alpha_channel.safetensors.safetensors
│ └── wan_alpha_2.1_vae_rgb_channel.safetensors.safetensorss
三、工作流及效果
效果图:
工作流:
这里我使用了wan2.1 T2V的文生图GGUF Q4模型以及4步加速LORA:
VAE:VAE分别加载一个RGB的VAE和一个alpha VAE。
然后接入SavePNGZIP_and_Preview_RGBA_AnimatedWEBP节点预览。
工作流使用很简单,修改提示词即可。
然后大家就能实现素材自由。目前仅支持文生视频得到素材。看后续项目是否支持图生视频。
这对于视频编辑,剪辑有重大作用,可以说基本不需要再去素材网找视频下载了。因为我们可以直接用图来反推得出提示词,再利用这个提示词生成视频素材。