Wan-Alpha:生成高质量文本到视频透明素材生成VAE

一、Wan-Alpha介绍

WAN Alpha是万相开源(WanX)2.1版本中的核心组件VAE,主要用于实现图生视频功能。它通过深度学习模型生成高质量动态画面,支持动作特效、角色动画等场景化生成,并具备灵活的参数调节能力。 ‌‌这个项目是基于wan2.1视频生成模型,通过联合学习RGB和Alpha通道来生成透明视频。一个有效的变分自动编码器(VAE),编码到RGB潜在空间的阿尔法通道来实现。生成了各种场景,具有准确且清晰的透明度。值得注意的是,它可以合成各种半透明物体、发光效果和细粒度细节。

核心功能

  • 动态画面生成‌:支持基于图像或图形生成流畅动态视频素材,适用于影视制作、广告设计等领域。
  • 场景化支持‌:内置多种预设场景(如动态壁纸、角色动画等),用户可通过简单参数调整快速生成个性化内容。 ‌‌

 二、相关下载

1.插件(轻量)

安装自定义RGBA视频预览器和PNG帧压缩包。将文件RGBA_save_tools.py复制到ComfyUI/custom_nodes文件夹中。

1、下载模型

Wan DiT基础模型:wan2.1_t2v_14B_fp16.safetensors

WAN文本编码器:umt5_xxl_fp8_e4m3fn_scaled.safetensors

LightX2V型号:lightx2v_T2V_14B_cfg_step_cn_v2_lora_rank64_bf16.safetensors

RGBA lora:epoch-13-1500_changed.safetensors

RGB VAE解码器:wan_alpha_2.1_vae_rgb_channel.safetensors.safetensors

Alpha VAE解码器:wan_alpha_2.1_vae_alpha_channel.safetensors.safetensors

模型路径:

将文件复制到ComfyUI/models文件夹中:

ComfyUI/models
├── diffusion_models
│   └── wan2.1_t2v_14B_fp16.safetensors
├── loras
│   ├── epoch-13-1500_changed.safetensors
│   └── lightx2v_T2V_14B_cfg_step_distill_v2_lora_rank64_bf16.safetensors
├── text_encoders
│   └── umt5_xxl_fp8_e4m3fn_scaled.safetensors
├── vae
│   ├── wan_alpha_2.1_vae_alpha_channel.safetensors.safetensors
│   └── wan_alpha_2.1_vae_rgb_channel.safetensors.safetensorss

三、工作流及效果

效果图:

Wan-Alpha:生成高质量文本到视频透明素材生成VAE

工作流:

Wan-Alpha:生成高质量文本到视频透明素材生成VAE

这里我使用了wan2.1 T2V的文生图GGUF Q4模型以及4步加速LORA:

Wan-Alpha:生成高质量文本到视频透明素材生成VAE

VAE:VAE分别加载一个RGB的VAE和一个alpha VAE。

Wan-Alpha:生成高质量文本到视频透明素材生成VAE

然后接入SavePNGZIP_and_Preview_RGBA_AnimatedWEBP节点预览。

工作流使用很简单,修改提示词即可。

然后大家就能实现素材自由。目前仅支持文生视频得到素材。看后续项目是否支持图生视频。

这对于视频编辑,剪辑有重大作用,可以说基本不需要再去素材网找视频下载了。因为我们可以直接用图来反推得出提示词,再利用这个提示词生成视频素材。

 

下载权限

查看
  • 免费下载
    评论并刷新后下载
    登录后下载
  • 免费下载
    免费下载:
    签到可领取积分

查看演示

  • {{attr.name}}:
您当前的等级为
登录后免费下载登录 小黑屋反思中,不准下载! 评论后刷新页面下载评论 支付免费指引:【签到得积分即可下载】 请先登录 您今天的下载次数(次)用完了,请明天再来 支付积分免费指引:【签到得积分即可下载】立即支付 支付免费指引:【签到得积分即可下载】立即支付 您当前的用户组不允许下载升级会员
您已获得下载权限 您可以每天下载资源次,今日剩余
温馨提示:本站提供的一切软件、教程和内容信息都来自网络收集整理,仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负,版权争议与本站无关。在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
5人已打赏
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索