下载大模型，保存阿里云盘

一、解决场景

下载模型或数据集，到国内云GPU平台、阿里云盘（便于持久化储存，或者分享朋友）。

及时收藏，下次还能找到！

二、优势

此方法可以避免大文件下载到本地——占用内存，受到小带宽网络的限制。

三、使用工具

大带宽服务器：这个服务器何必你自己的服务器🐶

本期所使用的服务器在下面的表格之中

• 除AutoDL外，其余的都是的GPU学习打榜平台，可以免费使用GPU，由于我们操作只涉及文件的上传下载，所以尽量不要占用GPU资源，选择cpu环境即可。只要你不用GPU，不就相当于一个linux的服务器，且它们的带宽相当大。
• 对于部分学习平台，磁盘限制并不严格，可以使用命令查看

# 查看所有挂载磁盘
df -hl
查看某目录挂载磁盘
df -h /绝对路径

---

四、使用方法

下载模型

1. 从魔搭社区（modelscope）下载模型

速度对比

我们，以下载stable-diffusion-v1-4为例，模型大小在11G左右（再大的文件逐个平台测试有点浪费时间），测试模型下载到平台指定目录所花费的时间，测试时段在晚上，由于网速波动受影响一因素较多，测试结果仅对本次结果有效！

• 函数使用（cache_dir为指定目录）

#模型下载，出现代码错误，请卸载modelscope重装
from modelscope import snapshot_download
model_dir = snapshot_download('AI-ModelScope/stable-diffusion-v1-4', cache_dir='/mnt/workspace', revision='master')

• 结果比较

平台cpu环境	特点	时间
魔搭社区 免费 8h 32g	单次最长运行10小时，磁盘限制90G左右	1分22秒
阿里天池社区 免费 2h4g	单次运行时长最大9小时	1分36秒
百度 AIstudio 免费 2h8g	没有sudo密码	2分49秒
中国移动 九天毕昇 8h32g	磁盘200G限制	4分50秒
CSDN Inscode 免费1h1g	磁盘挂载>700G	较慢
AutoDL ，0.5h2g，0.1元/h	免费50g磁盘	5分20秒
本地	完全取决你你的下载速度

2. 从huggingface下载

from huggingfacehub import snapshotdownload
snapshotdownload(repoid='CompVis/stable-diffusion-v1-4', 
                 repotype='model', 
                 localdir='./modeldir', 
                 resumedownload=True)

平台带宽肯定是足够的，但是明显从huggingface上下载没那么快了，这一部分取决于你代理服务器的速度了，如何使用，请查看第3部分。

代理速度因人而异，这里不详细测试

平台cpu环境	限制	时间
魔搭社区 免费 8h 32g	单次最长运行10小时，内存挂载90G左右	5分40秒
阿里天池社区 免费 2h4g	单次运行时长最大9小时	4分10秒
百度 AIstudio 免费 2h8g	没有开放sudo权限，无法开代理

3. 参考项目

这里自行去github搜索，Elegycloud大佬的项目

保存模型

基于上面的介绍，下载到平台之后，如果不使用对应平台来进行学习，可以保存下来。

这里就没办法逐个平台列个表格对比测试了，因为这个比较热门的模型，只要别人上传过，再次上传阿里云盘，几乎就是秒传，上传速度大家自己测试。

1. 保存到百度网盘

找了一圈，关于百度网盘API开发的项目不多，找到这个，但是我试用下来感觉不是很好用。项目地址

2. 保存阿里云盘

相比之下，即使阿里云盘没有vip，现阶段还是挺好用的。这是个不带图形化的项目。

wget https://github.com/tickstep/aliyunpan/releases/download/v0.2.8/aliyunpan-v0.2.8-linux-386.zip

unzip aliyunpan-v0.2.8-linux-386.zip

cd aliyunpan-v0.2.8-linux-386

./aliyunpan

login  # RefreshToken 获取方法见原项目

登录阿里云盘，浏览器-右键检查或者按F12，按照步骤获取

• 下载文件/ 文件夹

ls # 可查看云盘文件
download 云盘绝对路径

• 上传文件

upload 服务器的文件或文件夹的绝对路径或相对路径 云盘的绝对路径

写在最后

👍🏻点赞，你的认可是我创作的动力！
?收藏，你的青睐是我努力的方向！
??评论，你的意见是我进步的财富！