字节跳动开源视频生成模型Lynx:输入单张人物图像,即可输出高保真动态视频!

一、概述

Lynx 是字节跳动推出的高保真个性化视频生成模型,Lynx 基于开源 Diffusion Transformer (DiT) 基础模型构建,引入了两个轻量级适配器来确保身份保真度。ID 适配器采用 Perceiver Resampler 将 ArcFace 衍生的面部嵌入转换为紧凑的身份标记进行调节,而 Ref 适配器则集成了来自冻结参考路径的密集 VAE 特征,通过交叉注意力在所有 transformer 层中注入细粒度细节。这些模块共同实现了强大的身份保存,同时保持时间连贯性和视觉真实感。采用 Apache 2.0 开源协议,可用于商业用途。

核心特性:

📸 单张照片生成个性化视频
👤 保持人物身份一致性
🎭 高保真面部细节保留
⚡ 商用开源许可
🕒 时间连贯性保证

字节跳动开源视频生成模型Lynx:输入单张人物图像,即可输出高保真动态视频!

主要功能

  • 个性化视频生成
    仅需单张人像照片,即可生成身份一致的个性化视频。
  • 身份特征保留
    通过人脸编码器和适配器模块,确保人物在不同场景下身份特征的一致性。
  • 场景匹配能力
    利用交叉注意力适配器,结合文本提示生成符合场景要求的视频。
  • 时间连贯性
    具备"时间感知器",理解动作物理规律,保持视频时间维度的连贯性。
  • 高性能表现
    在面部相似度、场景匹配度和视频质量等多个维度上表现优异,超越同类技术。
  • 商用授权
    采用 Apache 2.0 授权,可用于商用(需确保人脸原图获得肖像权)。

项目地址:https://byteaigc.github.io/Lynx/
github主页:https://github.com/bytedance/lynx

二、相关安装(文末网盘下载)

插件还是之前的comfyui-WanVideoWrapper,直接升级下即可支持

插件地址:https://github.com/kijai/comfyui-WanVideoWrapper(文末网盘附带完整模型)

lynx是基于wan2.1的底模上使用的,所以要配合T2V的2.1文生视频模型。

常用模型就下面这4个,已经同步到网盘,大家自取便可。

KJ这边也给出对应的模型下载:https://huggingface.co/kijai/WanVideo_comfy/tree/main/Lynx

字节跳动开源视频生成模型Lynx:输入单张人物图像,即可输出高保真动态视频!

下面2个都是ID适配器模型,分成了full和lite模型,到时候选择其中一个即可,该模型主要是把面部信息转化成arcface形式的变量

  • Wan2_1-T2V-14B-Lynx_full_ip_layers_fp16.safetensors
  • Wan2_1-T2V-14B-Lynx_lite_ip_layers_fp16.safetensors

这2个也是同一类型,选其中一个即可。

  • lynx_full_resampler_fp32.safetensors
  • lynx_lite_resampler_fp32.safetensors

最后是Ref适配器模型

  • Wan2_1-T2V-14B-Lynx_full_ref_layers_fp16.safetensors

相关模型网盘里面有提供,大家可以前往下载。

三、工作流(文末网盘下载)

字节跳动开源视频生成模型Lynx:输入单张人物图像,即可输出高保真动态视频!

想要实现视图姿势参考,这里就需要结合VACE模型功能,所以模型加载这边加入了VACE模型。

然后最关键的就是姿势的视频提取了,最后连接到WanVideo VACE Encode节点,该节点的输出再接入到WanVideo Add Lynx Embeds就行,其他都和以前一样。

字节跳动开源视频生成模型Lynx:输入单张人物图像,即可输出高保真动态视频!

效果演示:

总结

Lynx框架在身份保真度、可控性与生成真实感之间实现了最佳平衡,为多模态和多主体个性化视频生成的未来发展奠定了坚实的技术基础。

下载权限

查看
  • ¥
    免费下载
    评论并刷新后下载
    登录后下载
  • 免费下载
    免费下载:
    签到可领取积分

查看演示

  • {{attr.name}}:
您当前的等级为
登录后免费下载登录 小黑屋反思中,不准下载! 评论后刷新页面下载评论 支付免费指引:【签到得积分即可下载】 请先登录 您今天的下载次数(次)用完了,请明天再来 支付积分免费指引:【签到得积分即可下载】立即支付 支付免费指引:【签到得积分即可下载】立即支付 您当前的用户组不允许下载升级会员
您已获得下载权限 您可以每天下载资源次,今日剩余次
温馨提示:本站提供的一切软件、教程和内容信息都来自网络收集整理,仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负,版权争议与本站无关。在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
5人已打赏
2 条回复 A文章作者 M管理员
  1. nathon

    有俩节点找不到,没法用

    • nathon

      要去github上找

❯
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索