linux远程服务器上下载模型等

记录一下在使用服务器下载时出现的一些问题和解决方法

conda环境位置：
/home/liuyuanyuan/.conda/envs/
hugging face下载的模型保存在【通修改此路径，继续下载】
/home/liuyuanyuan/.cache/huggingface/hub

通过镜像下载

阿里源

pip install xxx -i https://mirrors.aliyun.com/pypi/simple/

科大源

pip install xxx -i https://mirrors.ustc.edu.cn/pypi/web/simple

镜像链接huggingface

export HF_ENDPOINT=https://hf-mirror.com

或者直接下载到本地

然后上传远程服务器，然后修改代码

# 以T5-base模型为例
model = model_class.from_pretrained(
            '/HDD/liuyuanyuan/t5-base',
            cache_dir='/HDD/liuyuanyuan/t5-base-cache',#和t5-base同级建一个t5-base-cache空文件夹
            config=config,
            **kwargs
        )

网上下载

wget https....

git下载太慢，需要设置代理

git config --global http.proxy "localhost:7890"
然后再 
git lfs clone https://huggingface.co/t5-base

找到openai包的位置

python -m openai -help
最后位置是在：
/home/liuyuanyuan/.conda/envs/RQP/bin
/home/liuyuanyuan/.conda/envs/RQP/lib/python3.8/site-packages/openai

查看内存占用量

df-h

系统自动杀死

查看原因
sudo dmesg | tail -7