AI进化太快了！Stability AI开源视频生成大模型Stable Video Diffusion

对于 Stable Diffusion，想必读者朋友们对此都不陌生。

自 Stability AI 公司发布 SD（全称：Stable Diffusion) 以来，受到了很多人的喜爱。

SDXL 效果

随后技术升级，又发布了 SDXL，名字很有喜感，XL、XXL、XXXL…

SDXL Logo

顾名思义，SDXL 就是 SD 的升级版，图片生成的效果更好、更逼真、分辨率更高！

图片领域做得不错了，Stability AI 再次发力，昨天又发布了 Stable Video Diffusion。

Stability AI 发布

也就是说，通过一句话描述，现在不仅可以生成图片，还可以生成视频了。

举几个例子。

输入：火箭升天

AI 算法直接生成对应的视频：

输入：太空中转动的地球：AI 算法直接生成对应的视频

看下更多的例子：

是不是效果还不错？Stability AI 把 Stable Video Diffusion 也开源了！

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

建了技术交流群&星球！想要资料、进交流群的同学，可以直接加微信号：mlc2060。加的时候备注一下：研究方向 +学校/公司，即可。然后就可以拉你进群了。

方式①、添加微信号：mlc2060，备注：大模型资料 or 技术交流
方式②、微信搜索公众号：机器学习社区，后台回复：大模型资料 or 技术交流

01 Stable Video Diffusion

一共开源了两个模型：

SVD：能够生成帧率 14、分辨率 576x1024 的视频；

SVD-XT：SVD 的 finetune 升级版，分辨率不变，但能够生成帧率 25 的视频；

前排提醒： 想要本地跑 Stable Video Diffusion，显存得 20G 左右。

1、下载代码库

git clone git@github.com:Stability-AI/generative-models.gitcd generative-models

2、配置 Python 环境

由于第三方依赖库的要求，Python 需要至少是 3.10 版本以上。

推荐使用 conda 新建一个环境。

conda create -n py310 python==3.10

激活环境，并安装相应的依赖。

conda activate py310python -m pip install -r requirements/pt2.txt

最后再安装 sgm，直接在项目根目录运行即可。

python -m pip install .

如果想要训练模型，还需要安装 sdata，我这里就不说了，毕竟跟我一样训练不起的，应该占绝绝绝绝大多数。

3、模型下载

SVD 模型下载地址：

https://huggingface.co/stabilityai/stable-video-diffusion-img2vid

SVD-XT 模型下载地址：

https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt

下载好模型后，将模型放到 checkpoints 目录下。

4、运行算法

可以使用 streamlit 运行：

streamlit run scripts/demo/video_sampling.py --server.port <your_port>

好了，今天就聊这么多吧。