开源盛世!阿里视频生成大模型开源:8.2GB显存就能跑

IT之家 2 月 25 日消息，阿里云今日宣布旗下视觉生成基座模型万相 2.1（Wan）开源。

此次开源采用最宽松的 Apache2.0 协议，14B 和 1.3B 两个参数规格的全部推理代码和权重全部开源，同时支持文生视频和图生视频任务，全球开发者可在 Github、HuggingFace 和魔搭社区下载体验。

据介绍，14B 万相模型在指令遵循、复杂运动生成、物理建模、文字视频生成等方面表现突出，在评测集 VBench 中，万相 2.1 以总分 86.22% 的成绩超越 Sora、Luma、Pika 等国内外模型，位列榜首。1.3B 版本测试结果不仅超过了更大尺寸的开源模型，甚至还接近部分闭源模型，同时能在消费级显卡运行，号称“仅需 8.2GB 显存就可以生成 480P 视频”，适用于二次模型开发和学术研究。

在算法设计上，万相基于主流 DiT 架构和线性噪声轨迹 Flow Matching 范式，研发了高效的因果 3D VAE、可扩展的预训练策略等。以 3D VAE 为例，为了高效支持任意长度视频的编码和解码，万相在 3D VAE 的因果卷积模块中实现了特征缓存机制，从而代替直接对长视频端到端的编解码过程，实现了无限长 1080P 视频的高效编解码。此外，通过将空间降采样压缩提前，在不损失性能的情况下进一步减少了 29% 的推理时内存占用。

万相团队的实验结果显示，在运动质量、视觉质量、风格和多目标等 14 个主要维度和 26 个子维度测试中，万相均达到了业界领先表现，并且斩获 5 项第一。

Github：https://github.com/Wan-Video

HuggingFace：https://huggingface.co/Wan-AI

魔搭社区：https://modelscope.cn/organization/Wan-AI