下载一份小语种训练数据时,大概有50G,自动kill。
解决办法:
????????内存申请的16G太小,应该申请比数据大小大的内存空间,于是申请了80G。
https://huggingface.co/datasets/HeNLP/HeDC4/tree/main
?内存使用率: