大模型学习笔记08——分布式训练
发布时间:2024年01月22日
大模型学习笔记08——分布式训练
模型规模的扩大,对硬件(算力、内存)的发展提出要求。然而,因为内存墙的存在,单一设备的算力及容量,受限于物理定律,持续提高芯片的集成越来越困难,难以跟上模型扩大的需求。
为了解决算力增速不足的问题,人们考虑用多节点集群进行分布式训练,以提升算力,分布式训练势在必行
1、常见的并行策略
- 数据并行:将数据切分为多份分发到每个设备上,每个设备上拥有完整的模型参数,将所有设备的结果拼接则为完整的输出
- 模型并行:每个设备上的数据是完整并一致的,每个设备仅有模型的一部分
- 流水线并行:将网络切为多个阶段并分发到不同的设备上,让完整的数据按顺序途径所有的设备完成计算
- 混合并行:流水线并行、数据并行与模型并行都有使用
注
学习内容来源:添加链接描述
文章来源:https://blog.csdn.net/qq_29787929/article/details/135737279
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:chenni525@qq.com进行投诉反馈,一经查实,立即删除!