据IT之家9月19日消息,阿里通义万相全新动作生成模型Wan2.2-Animate今日正式开源。该模型支持驱动人物、动漫形象和动物照片,可应用于短视频创作、舞蹈模板生成、动漫制作等领域。
Wan2.2-Animate模型基于此前通义万相开源的Animate Anyone模型全面升级,不仅在人物一致性、生成质量等指标上大幅提升,还同时支持动作模仿和角色扮演两种模式:
角色模仿:输入一张角色图片和一段参考视频,可将视频角色的动作、表情迁移到图片角色中,赋予图片角色动态表现力;
角色扮演:同时还可在保留原始视频的动作、表情及环境的基础上,将视频中的角色替换为图片中的角色。
此次,通义万相团队构建了一个涵盖说话、面部表情和身体动作的大规模人物视频数据集,并基于通义万相图生视频模型进行后训练。
Wan2.2-Animate将角色信息、环境信息和动作等,规范到一种统一的表示格式,实现了单一模型同时兼容两种推理模式;针对身体运动和脸部表情,分别使用骨骼信号和隐式特征,配合动作重定向模块,实现动作和表情的精准复刻。在替换模式中,团队还设计了一个独立的光照融合LoRA,用于保证完美的光照融合效果。
人妻为什么受欢迎?光靠擦边就能赚几百万的囧图
《神鬼寓言4》试玩口碑超棒:画面效果很顶 性能稳定
PS5 Pro终于支棱起来了 9月大作几乎全员加入增强
离谱!PS5成功运行Switch独占游戏 模拟器实测
G胖亲自回复网友邮件 承认练过蒙古呼麦 至今偶尔也练
曝小岛秀夫新作预算4亿美元 直接吓跑索尼