一、FantasyPortrait介绍
FantasyPortrait项目基于表情增强扩散变换器(Expression-augmented DiT)技术,专注于数字人动画的生成与控制。AIbase从社交媒体获悉,该项目能够高效处理单人及多人场景,支持跨身份的表情迁移,并实现复杂情感的精准表达。无论是细腻的微笑还是激烈的愤怒,FantasyPortrait都能以高保真度还原,极大提升了数字人动画的真实感和表现力。
FantasyPortrait在多人场景中能够实现多角色独立表情控制,避免了传统技术中常见的表情串扰问题。这意味着多个数字人可以在同一场景中展现截然不同的表情,而不会相互干扰,为影视制作、虚拟现实和游戏开发等场景提供了强大的技术支持。
二、模型与环境安装
本文使用comfyui-WanVideoWrapper插件体验。模型和工作流文末网盘下载!
安装Wanvideowarpper插件:
ComfyUI-WanVideoWrapper:https://github.com/kijai/ComfyUI-WanVideoWrapper
插件路径:comfyui/custom nodes
FantasyPortrait模型路径:
模型放置在:comfyui/modelsDiffusion-models
三、工作流测评与体验
四、结论
FantasyPortrait 是一个基于 DiT 的全新框架,用于生成富有表现力且对齐良好的多角色肖像动画。该方法利用隐式面部表情表征来实现身份无关的运动传递,同时保留精细的情感细节。此外论文引入了一种带掩码的交叉注意力机制,可以实现对多个角色的同步且独立的控制,从而有效地解决了表情泄露问题。为了支持该领域的研究,贡献了全面的评估基准 ExprBench 以及多角色面部表情 Multi-Expr 数据集。大量实验表明,FantasyPortrait 在单角色和多角色动画场景中均优于现有方法,尤其是在处理跨身份重现和复杂情感表达方面。