阿里开源WanMove模型:实现高精度动作控制的视频生成框架

一、Wan-Move介绍

阿里通义实验室、清华大学、香港大学、香港中文大学的研究团队提出了 Wan-Move —— 一个无需额外动作编码器、直接通过点轨迹注入动作信息的视频生成框架。该方法在保持模型架构简洁的同时,实现了商业级的动作精度与视觉保真度。Wan-Move 是一种视频生成框架,旨在通过潜在轨迹引导实现运动可控的视频生成。‌该框架专注于解决视频生成中动作控制的精度问题,避免了传统方法依赖额外模块(如光流估计器)带来的推理复杂性和误差累积。‌Wan-Move 是在Wan2.1代码库基础上实现的一个最小扩展。如果您已尝试过 Wan2.1,那么您几乎可以复用现有的大部分设置,迁移成本极低。

阿里开源WanMove模型:实现高精度动作控制的视频生成框架

  • 🎯 高质量5秒480p动作控制:通过规模化训练,Wan-Move能够生成5秒、480p的视频,其动作可控性达到SOTA水平,与Kling 1.5 Pro的Motion Brush等商用系统相当,这一点已通过用户研究得到验证。

  • 🧩 新颖的潜在轨迹引导:我们的核心思想是通过沿轨迹传播第一帧的特征来表征运动状态,这一方法可无缝集成到现成的图像到视频模型中(例如,Wan-I2V-14B),无需任何架构改动或额外的运动模块。

  • ️精细的点级控制:物体运动以密集的点轨迹表示,可实现对场景中每个元素运动方式的精确、区域级控制。

  • 📊 专用运动控制基准测试MoveBench:MoveBench是一个精心策划的基准测试,拥有更大规模的样本、多样化的内容类别、更长的视频时长以及高质量的轨迹标注。

二、相关安装

1.插件

2.模型

ComfyUI/
├── models/
│   ├── diffusion_models/
│   │   └─── Wan21-WanMove_fp8_scaled_e4m3fn_KJ.safetensors
│   └── loras/
│       └──  lightx2v_I2V_14B_480p_cfg_step_distill_rank128_bf16.safetensors
│   ├── text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors
│   └── vae/
│   │   └──  wan_2.1_vae.safetensors

三、工作流

模型加载还是一个主模型+一个加速模型,wan2.1那一套。

  • 仅需微调现有 I2V 模型(如 Wan2.1);
  • 无需额外网络、无需光流预处理,推理流程与标准 I2V 一致;
  • 已由开源社区开发者 kijai 集成至 ComfyUI 封装器,支持本地一键部署。

阿里开源WanMove模型:实现高精度动作控制的视频生成框架

这里比较新的是一个轨迹线的描绘,上面让大家升级Kjnodes插件,就是这里要用到,用到的节点叫曲线编辑器,和以前的点编辑器类似,不过这个是用来画轨迹线的。

这种要画线条的,一般都是先把图加载进来,先执行一遍,等图片进来了,就停止运行,然后就可以点击底部的 New Canvas来重置下画布,就会看到一根线条了。

可以移动箭头,默认这条线里面有3个节点箭头,把箭头摆放到指定的位置就行。

阿里开源WanMove模型:实现高精度动作控制的视频生成框架

视频生成部分

阿里开源WanMove模型:实现高精度动作控制的视频生成框架

案例:

总结

Wan-Move由阿里通义实验室联合顶尖高校研发,其开源和标准化推动了行业技术进步。它不仅是学术上的突破,更通过实际应用(如复刻舞蹈、影视表演等)展现了巨大潜力,为低成本动捕提供了替代方案。

总之,Wan-Move通过技术革新解决了视频生成中的动作控制难题,为创作者提供了强大工具,推动了AI视频生成领域的发展。

下载权限

查看
  • ¥
    免费下载
    评论并刷新后下载
    登录后下载
  • 免费下载
    免费下载:
    签到可领取积分

查看演示

  • {{attr.name}}:
您当前的等级为
登录后免费下载登录 小黑屋反思中,不准下载! 评论后刷新页面下载评论 支付免费指引:【签到得积分即可下载】 请先登录 您今天的下载次数(次)用完了,请明天再来 支付积分免费指引:【签到得积分即可下载】立即支付 支付免费指引:【签到得积分即可下载】立即支付 您当前的用户组不允许下载升级会员
您已获得下载权限 您可以每天下载资源次,今日剩余次
温馨提示:本站提供的一切软件、教程和内容信息都来自网络收集整理,仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负,版权争议与本站无关。在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
5人已打赏
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
❯
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索