广受好评的开源基础大模型最全梳理,你最钟意哪一个?

发布时间:2023年12月18日

2023 年即将过去。一年以来,各式各样的大模型争相发布。当 OpenAI 和谷歌等科技巨头正在角逐时,另一方「势力」悄然崛起 —— 开源。

开源模型受到的质疑一向不少。它们是否能像专有模型一样优秀?是否能够媲美专有模型的性能?

迄今为止,我们一直还只能说是某些方面接近。即便如此,开源模型总会给我们带来惊艳的表现,让我们刮目相看。

开源模型的兴起正在改变游戏规则。如 Meta 的 LLaMA 系列以其快速迭代、可定制性和隐私性正受到追捧。这些模型被社区迅速发展,给专有模型带来了强有力的挑战,能够改变大型科技公司的竞争格局。

今天我来分享一些广受好评的开源的基础大模型,非基于基础模型的微调模型,列表如下:

开源的基础大模型列表

序号名称参数规模数据规模说明
1LLaMA-27B,13B,34B,70B2T可商用
2Falcon7B,40B,180B3.5T数据集 RefinedWeb
3baichuan-27B,13B2.6T开放,商用需授权,baichuan-1
4InternLM7B,20B2.3T开放,商用需授权
5BLOOM3B,7.1B,176B366B可商用,最为宽松,详细介绍
6GALACTICA6.7B,30B,120B106B开放的科学文本和数据
7LLaMA7B,13B,30B,65B1.4TMeta,代码开源,模型“泄露”,不可商用,详细介绍
8MOSS-moon16B700B6.67x1022 FLOPs
9ChatGLM26B1.4T
10StableLM3B,7B800B
11RedPajama-INCITE3B,7B1T
12GPT-NeoX20B3.15M800GB的The Pile数据集
13OpenLLaMA3B,7B,13B1T
14MPT7B,30B1T
15Pythia2.8B,6.9B,12B300B
16XGen7B1.5T
17OPT6.7B,13B,30B,66B,175B180B
18Qwen7B,14B,72B2.4T,3.0T,3.0T
19XVERSE13B,65B1.4T,2.6T
20Aquila27B,34B2T
21PrithviIBM+NASA,地理空间,100M(图片)
22Skywork13B3.2T昆仑万维·天工
23Deepseek Coder1.3B,6.7B,33B2TDeepseek Coder comprises a series of code language models trained on both 87% code and 13% natural language in English and Chinese, with each model pre-trained on 2T tokens.
24Aquila7B悟道·天鹰
25Yi6B,34B3T
26Mistral7B欧洲
27Yuan-22B,51B,102B
28Mistral 7BX8 MoE56B7BX8 MoE

非基础大模型

  • WizardLM,WizardMath,WizardCoder
  • Alpaca
  • Vicuna
  • Guanaco
  • CodeLLaMA
    • 7B,13B,34B,基于LLaMA2,增加了650B左右的代码词元进行增量训练和微调

模型架构

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

建了技术交流群&星球!想要资料、进交流群的同学,可以直接加微信号:mlc2060。加的时候备注一下:研究方向 +学校/公司,即可。然后就可以拉你进群了。

方式①、添加微信号:mlc2060,备注:大模型资料 or 技术交流
方式②、微信搜索公众号:机器学习社区,后台回复:大模型资料 or 技术交流

在这里插入图片描述

在这里插入图片描述

文章来源:https://blog.csdn.net/m0_59596990/article/details/135051476
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。