nlp与cv的发展

发布时间：2023年12月19日

在这里插入图片描述

  • Transformer的出现,促进了更高容量模型的建立,为大模型的出现奠定基础. 🧐
  • 大模型通常具有十亿个以上参数(仅供参考) 😮
  • 左边的蓝色是CV领域、右下绿色是NLP、右上蓝色是多模态😃
  • 基础模型(Foundational Models)首次由Bommasani等人在《Stanford Institute for Human-Centered AI》中引入,定义为“通过自监督或半监督方式在大规模数据上训练的模型,可以适应其它多个下游任务”
  • 综述《On the Opportunities and Risk of Foundation Models》,深度剖析当时大规模预训练模型面临的机遇和挑战,文中将大模型统一命名为Foundation Models （？🤔）
  • 在深度学习中，通常将模型分为三个部分：backbone、neck 和 head
  • 深度学习中常用的Backbone:AlexNet、ResNet、VGG（好像有点过时😶，现在cv里的backbone可能是vit和swin-t😶)
  • 未完待续

————————
最近要写糊弄期末作业（视觉大模型综述和大模型发展史）
画了个图，记录一下枯燥的水字数和水页数的过程
——— 2023.12.16

文章来源:https://blog.csdn.net/weixin_45426939/article/details/135037680
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章