设计一个LLMops的端到端业务流程需要哪些存储技术

发布时间：2024年01月05日

周五晚上老哥们儿hengzi给我打电话说有没有大模型相关的存储相关的设计，答：没有现成的，后来我甩过去一个TP,PP,DDP的文档。仔细想想也对，也不对。对的是，确实是存储，但是只有显存里的存储，不对的是其实他想问的是端到端的，主要还是磁盘上的存储

然后我翻内网也没什么现成的，那没有我就自己写呗

其实简单可以把大模型的端到端分成以上3个部分吧，如果按这个group去划分，每个部分需要的存储类型或者说磁盘类型区别还是挺大的

这里面存的东西又有啥区别呢？

先说第一部分，其实主要是数据处理，比如数据清洗，去重，精选这些步骤

第二部分就是训练了

第三部分推理，满打满算把边角料Agent啥的也都算进来

存储介质：

上一个老图，图中我给拿红框给框起来的部分就是大模型会用到的存储介质，没框的就不会用到，大家也不用研究了

相关的介质我们从上到下捋一遍

文章来源:https://blog.csdn.net/kingsoftcloud/article/details/135404289
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系我的编程经验分享网邮箱：chenni525@qq.com进行投诉反馈，一经查实，立即删除！