FlashVSR流式实时的生成式视频:三阶段蒸馏 + 稀疏注意力,首次实现超高清视频实时超分辨率

一、FlashVSR介绍

Flash VSR是一种基于一步稳定扩散的视频超分辨率技术,兼具高速与高质量。该技术通过局部约束稀疏注意力机制和自研的Tiny Conditional Decoder(TcDecoder),在单张A100 GPU上可达约17 FPS的处理速度,解码速度较传统方案提升约7倍,有效减少伪影与重复纹理。它支持视频放大与画质增强,适用于长视频实时处理,并可在ComfyUI中通过Kijai整合的工作流进行部署,模型已开源在Hugging Face。实测显示,10秒视频放大至768×1536仅需2分17秒。该技术虽不具备强面部修复能力,但在横竖屏转换时能显著提升细节表现。主要缺点是在复杂发丝等区域仍可能出现轻微伪影。

FlashVSR流式实时的生成式视频:三阶段蒸馏 + 稀疏注意力,首次实现超高清视频实时超分辨率

FlashVSR核心技术亮点

  1. ‌流式单步推理框架‌:支持无限长视频实时处理,结合三阶段蒸馏技术提升稳定性。‌‌
  2. 局部约束稀疏注意力机制‌:优化计算效率并保持视频时序连贯性。‌
  3. ‌联合训练策略‌:同时使用12万视频和18万图像数据集(VSR-120K)进行图像-视频联合训练。‌

性能与效率优势

  1. 处理速度‌:在768×1408分辨率下达17 FPS(单A100),比传统生成式超分快12倍。‌
  2. ‌硬件兼容性‌:24G显存显卡可运行,支持384分辨率视频放大至1536分辨率。‌
  3. 开源生态‌:提供ComfyUI插件及一键整合包,适配Windows/Linux系统

二、相关安装

插件地址(二选一): 
https://github.com/smthemex/ComfyUI_FlashVSR
https://github.com/lihaoyun6/ComfyUI-FlashVSR_Ultra_Fast

模型安装:

  • LQ_proj_in.ckpt
  • TCDecoder.ckpt
  • diffusion_pytorch_model_streaming_dmd.safetensors
  • Wan2.1_VAE.pth

模型安装路径:

├── ComfyUI/models/FlashVSR
|     ├── LQ_proj_in.ckpt
|     ├── TCDecoder.ckpt
|     ├── diffusion_pytorch_model_streaming_dmd.safetensors
|     ├── Wan2.1_VAE.pth

环境安装:

ComfyUI_FlashVSR需要安装个轮子,网盘轮子有了两个版本,python310和python311版本。

安装命令:

模型路径(找到自己本地ComfyUI的python路径。):

python.exe -m pip install block_sparse_attn-0.0.1-cp310-cp310-win_amd64.whl

注意:如果编译失败可以 用FlashVSR_Ultra_Fast插件

三、工作流及体验

FlashVSR流式实时的生成式视频:三阶段蒸馏 + 稀疏注意力,首次实现超高清视频实时超分辨率

 🥒mode(模式):

tiny → 更快(默认);full→ 更高的质量

 🥒比例(放大倍数):
通常使用4效果更好;如果明显存在不足,可使用2

🥒color_fix(颜色修改):
使用小波变换方法修改输出视频的颜色偏差。

 🥒tiled_vae(VAE分块解码):
启用后可显着降低显着的存储占用,但会降低解码速度。

🥒tiled_dit(DiT分块计算):
大幅减少显着的占用占用,但会降低推理速度。

🥒tile_size /tile_overlap(分块大小与重叠):
控制输入视频在推理时的分块方式。

🥒unload_dit(卸载DiT模型):
解码前卸载DiT模型以降低速度显着存高,但会小幅降低。

🥒local_range(上下文参考)
local_range 值越大: 模型需要同时处理更多的视频帧数据。这意味着更高的计算成本、更大的显存占用和更长的处理时间。
local_range 值越小: 模型处理的帧数较少,因此计算速度会更快,显存占用更低。

低分辨率和模糊视频的flashVSR长视频的工作流,视频尺寸、帧率、视频长短、视频细节强度均可调节。不限时长。

FlashVSR流式实时的生成式视频:三阶段蒸馏 + 稀疏注意力,首次实现超高清视频实时超分辨率

结论

FlashVSR,一种高效的基于扩散的一步流式视频超分辨框架。通过结合流式蒸馏、局部约束稀疏注意力和微型条件解码器,FlashVSR 以接近实时的效率和强大的超高分辨率扩展能力实现了最先进的质量。我们的结果证明了 FlashVSR 的有效性和实用性,凸显了其在真实世界视频应用中的潜力。

下载权限

查看
  • ¥
    免费下载
    评论并刷新后下载
    登录后下载
  • 免费下载
    免费下载:
    签到可领取积分

查看演示

  • {{attr.name}}:
您当前的等级为
登录后免费下载登录 小黑屋反思中,不准下载! 评论后刷新页面下载评论 支付免费指引:【签到得积分即可下载】 请先登录 您今天的下载次数(次)用完了,请明天再来 支付积分免费指引:【签到得积分即可下载】立即支付 支付免费指引:【签到得积分即可下载】立即支付 您当前的用户组不允许下载升级会员
您已获得下载权限 您可以每天下载资源次,今日剩余次
温馨提示:本站提供的一切软件、教程和内容信息都来自网络收集整理,仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负,版权争议与本站无关。在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
5人已打赏
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
❯
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索