清华团队开源SCAIL-2: 动作转移、分段队列换装、人物替换多角色+动物全支持

一、SCAIL-2 介绍

SCAIL-2 是一种将受控角色动画与端到端上下文条件化相结合的模型。该代码用于 SCAIL-2 模型的推理,SCAIL-2 模型是一个支持端到端角色动画的开源模型。消除了这种依赖,实现了端到端驱动。通过使用多个现成模型(SCAIL-Preview、Wan-Animate、MoCha),合成了 6 万对运动数据,并通过统一的运动迁移接口(包含专用掩码通道和 RoPE 设计)进行训练。

清华团队开源SCAIL-2: 动作转移、分段队列换装、人物替换多角色+动物全支持

结合反向驱动训练策略与统一架构,该模型学到了超越其教师模型的能力,从而涌现出以下能力:

  • 跨身份角色替换
  • 动物驱动场景
  • 对高级控制中间表示(如 SAM3D-Body 网格渲染)的零样本支持

清华团队开源SCAIL-2: 动作转移、分段队列换装、人物替换多角色+动物全支持

二、相关安装

项目 详情
分辨率 端到端驱动同时支持 512p 和 704p;基于姿态驱动和角色替换在 704p 下效果更佳
约束条件 高度 H 和宽度 W 必须均可被 32 整除(例如 704×1280)
训练设置 混合分辨率和帧率
内置模块 Wan VAE 和 T5 已集成到检查点中,便于使用

模型安装路径:

SCAIL-2/
├── Wan2.1_VAE.pth
├── model
│   ├── 1
│   │   └── fsdp2_rank_0000_checkpoint.pt
│   └── latest
└── umt5-xxl
    └── ...

三、工作流

云端demo:https://www.runninghub.cn/post/2068696142724034562

清华团队开源SCAIL-2: 动作转移、分段队列换装、人物替换多角色+动物全支持

四、总结:

当然,SCAIL-2 并非完美,依然存在一些亟待解决的问题。

例如,尽管端到端设计能够直接向模型输入更完整、天然更丰富的视觉信息,但仍高度依赖高质量配对数据。同时,合成流水线缓解了数据稀缺,却没有解决数据质量瓶颈,因为其保真度仍受生成器能力限制。此外,SCAIL-2 所采用的 Bias-Aware DPO 虽然能够建模针对偏差的偏好,但对于细粒度区域而言,可靠的正样本仍然难以获得。

研究团队表示,未来可通过更先进的模型和更高效的数据合成流程,进一步提升数据质量,并将这一框架拓展到更多任务中。

下载权限

查看
  • ¥
    免费下载
    评论并刷新后下载
    登录后下载
  • 免费下载
    免费下载:
    签到可领取积分

查看演示

  • {{attr.name}}:
您当前的等级为
登录后免费下载登录 小黑屋反思中,不准下载! 评论后刷新页面下载评论 支付免费指引:【签到得积分即可下载】 请先登录 您今天的下载次数(次)用完了,请明天再来 支付积分免费指引:【签到得积分即可下载】立即支付 支付免费指引:【签到得积分即可下载】立即支付 您当前的用户组不允许下载升级会员
您已获得下载权限 您可以每天下载资源次,今日剩余次
温馨提示:本站提供的一切软件、教程和内容信息都来自网络收集整理,仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负,版权争议与本站无关。在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
5人已打赏
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
❯
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索