【复现】FreeU以及结合AnimateDiff

发布时间:2023年12月26日

??code:GitHub - ChenyangSi/FreeU: FreeU: Free Lunch in Diffusion U-Net整了半天发现目前的FreeU好像只支持SD2.1和SDXL啊。。而AnimateDiff? v1, v2 and v3 都是用的?Stable Diffusion V1.5,不知道该怎么结合了

才发现AnimateDiff更新v3了,以及又发了篇CVPR的改进工作:

在这个版本中,我们通过域适配器LoRA对图像模型进行了微调,以便在推理时具有更大的灵活性。

实现了两个(RGB图像/scribble) SparseCtrl编码器,可以采用固定数量的条件映射来控制生成过程。

域适配器是一个在训练视频数据集的静态帧上进行训练的LoRA模块。这个过程是在训练运动模块之前完成的,并帮助运动模块专注于运动建模,如下图所示。在推理时,通过调整域适配器的LoRA尺度,可以去除训练视频的一些视觉属性,如水印。为了利用SparseCtrl编码器,有必要在管道中使用全域适配器。

明天读一下

SDV2-1下载:stabilityai/stable-diffusion-2-1 at main (huggingface.co)

?

文章来源:https://blog.csdn.net/weixin_57974242/article/details/135219588
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。