大模型学习笔记04——新的模型架构

发布时间：2024年01月18日

大模型学习笔记04——新的模型架构

1、混合专家模型

核心思想：创建一组专家，每个输入只激活一小部分专家

混合专家模型方法：

在这里插入图片描述

注意

  1. 通过门控控制使用不同种类和数量的专家
  2. 所有专家的概率分布和为1，可以取其中概率较大的几个专家，而忽略概率较小的专家
  3. 需要确保所有专家都能被输入使用，如果只有一个专家活跃既是浪费，其他专家也得不到梯度改善
  4. 混合专家非常有利于并行，不同专家放置在不同的机器上，在中心节点上计算门控函数

2、基于检索的模型

核心思想：根据输入，从数据库中检索到相关的部分，通过检索到的信息对输入进行预测

注

更多详细内容见：添加链接描述

文章来源:https://blog.csdn.net/qq_29787929/article/details/135669110
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章