还在为 WAN2.2 缺少灵活的参照控制而烦恼吗?本期视频将带你解锁 WAN2.2 的全部潜力!我们将 2.1 版本中备受好评的 VACE 技术成功移植,并结合模型量化与加速采样,让你的视频创作流程不仅更强大,还更快、更省资源! 告别单调的抽卡式生成,迎接精准控制的新时代。无论你是想增强人物一致性、替换视频背景,还是通过深度图驱动动画,这个工作流都能满足你。
一、Wan 2.2 Fun Vace介绍
今天wan2.2的VACE终于来了,但是这个不是之前的VACE团队做的,是阿里的另外一个团队alibaba-pai实现的,但是功能终归是有了,Wan2.2首次将混合专家(Mixture-of-Experts, MoE)架构引入视频扩散模型。通过在不同时间步长上分配专门的专家模型,Wan2.2显著提升了模型的整体容量,同时保持了计算成本不变。这一创新使得模型能够更高效地处理复杂的视频生成任务,尤其是在高分辨率场景下表现尤为突出。
技术亮点:
- 采用 混合专家(MoE)架构,总参数量27B,动态激活14B参数,计算效率提升50%。
- 支持 电影级美学控制(如光影、色彩、构图等60+参数),生成720P@24fps高清视频
-
项目地址:https://huggingface.co/alibaba-pai/Wan2.2-VACE-Fun-A14B
二、相关安装(文末网盘)
官方模型下载(需魔法)
- alibaba-pai/Wan2.2-VACE-Fun-A14B : https://huggingface.co/alibaba-pai/Wan2.2-VACE-Fun-A14B
- Kijai/WanVideo_comfy : https://huggingface.co/Kijai/WanVideo_comfy/tree/main
- Kijai/WanVideo_comfy_GGUF : https://huggingface.co/Kijai/WanVideo_comfy_GGUF
- Comfy-Org/Wan_2.2_ComfyUI_Repackaged : https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/tree/main
名称 | 存储空间 | 描述 |
---|---|---|
Wan2.2-Fun-A14B-InP | 64.0 GB | Wan2.2-Fun-14B文图生视频权重,以多分辨率训练,支持首尾图预测。 |
Wan2.2-Fun-A14B-Control | 64.0 GB | Wan2.2-Fun-14B视频控制权重,支持不同的控制条件,如Canny、Depth、Pose、MLSD等,同时支持使用轨迹控制。支持多分辨率(512,768,1024)的视频预测,支持多分辨率(512,768,1024)的视频预测,以81帧、每秒16帧进行训练,支持多语言预测 |
Wan2.2-Fun-A14B-Control-Camera | 64.0 GB | Wan2.2-Fun-14B相机镜头控制权重。支持多分辨率(512,768,1024)的视频预测,支持多分辨率(512,768,1024)的视频预测,以81帧、每秒16帧进行训练,支持多语言预测 |
Wan2.2-VACE-Fun-A14B | 64.0 GB | 以VACE方案训练的Wan2.2控制权重,基础模型为Wan2.2-T2V-A14B,支持不同的控制条件,如Canny、Depth、Pose、MLSD、轨迹控制等。支持通过主体指定生视频。支持多分辨率(512,768,1024)的视频预测,支持多分辨率(512,768,1024)的视频预测,以81帧、每秒16帧进行训练,支持多语言预测 |
三、工作流及体验
wan2.2的VACE与Wan2.1 VACE相似,核心区域如下:
区别:新增高噪模型(官方满血Wan2.2-VACE-Fun-A14B-high_noise)和低噪模型(官方满血Wan2.2-VACE-Fun-A14B-low_noise),结合使用,让效果更好,并且更高效。
WanVideo Model loader加载一定要用T2V模型,例如:下图Wan2.2 t2v high noise 14B fp8 scaled.safetensors 和Wan2 2-T2V-A14B-LOW fp8 e4m3fn scaled kJ.safetens
首尾帧示例:
工作流:
-
Wan2.2 Fun VACE 姿势深度参考转绘 -
Wan2.2 Fun VACE 局部编辑 -
Wan2.2 Fun VACE 最强首尾帧 -
Wan2.2 Fun VACE 视频扩图 -
Wan2.2 Fun VACE 多图融合
Wan2.2 Fun-VACE 动态生成三合一,首尾帧+动态参考+角色替换!全方位满足动态需求!