多模态模型论文最全总结

发布时间:2024年01月24日

在这里插入图片描述

?专栏介绍: 本作者推出全新系列《深入浅出多模态》专栏,具体章节如导图所示(导图后续更新),将分别从各个多模态模型的概念、经典模型、创新点、论文综述、发展方向、数据集等各种角度展开详细介绍,欢迎大家关注。

💙作者主页: GoAI |💚 公众号: GoAI的学习小屋 | 💛交流群: 704932595 |💜个人简介 : 掘金签约作者、百度飞桨PPDE、领航团团长、开源特训营导师、CSDN、阿里云社区人工智能领域博客专家、新星计划计算机视觉方向导师等,专注大数据与AI 知识分享。

💻文章目录

《深入浅出多模态》(一):多模态模型论文最全总结


👨?💻导读: 本文为《深入浅出多模态》系列第一章,《多模态模型论文最全总结》将从整体介绍多模态模型发展,结合综述对各个模型按照发展时间线及发展对应关系进行介绍,后续将对其中经典及最新多模态模型进行解决,从具体论文、数据集、代码、模型结构、结果等角度分析,本专栏适合从事多模态小白及爱好者学习,欢迎大家关注,如有侵权请联系删除!

多模态模型最全总结

1.多模态模型综述总结

1.VLP:A Survey on Vision-Language Pre-training

2.A Survey of Vision-Language Pre-Trained Models

3.A SURVEY OF RESOURCE-EFFICIENT LLM AND MULTIMODAL FOUNDATION MODELS

4.微软研究院CVPR2023多模态大模型总结

视频: 多模态大模型:向建设和超越多模态 GPT-4 迈进

PPT:多模态大模型

2.多模态相关github总结:

  1. 多模态大型语言模型的最新论文和数据集及其评估

  2. 跨任务、跨语言和跨模态的大规模自监督预训练(微软)、包括Beit系列、kosmos1/2/2.5/g、unilm

  3. salesforce:https://github.com/salesforce/LAVIS

3.多模态论文综述:

在这里插入图片描述

4.开源多模态大模型总览

开源模型单位包含模型参数量
KOSMOS-2微软1.6B
OpenFlamingo微软MPT9B
BLIP-2SalesforceOPT.FlanT512B
InstructBLIPSalesforceLLaMA7B,13B
MiniGPT-4KAUSTLLaMA7B
LLaMA-Adapter V2上海人工智能实验室LLaMA7B
ImageBindMetaViT.CLIP
ChatBridge中科院自动化所LLaMA7B
VisualGLM-6B清华大学ChatGLM7.8B
VisCPM清华大学CPM-Bee10B
mPLUG-Owl阿里巴巴LLaMA7B
mPLUG-Owl2阿里巴巴
Qwen-VL阿里巴巴Qwen9.6B
CogVLM、CogAgent

最新模型后续待更新!!!!

多模态模型时间线

以下是按时间排序的不完整的多模态系统列表!

多模态发展关系图:

在这里插入图片描述

  1. ViLT:多模态学习之前都是Oscar或者Uniter的这些工作,但他们的缺陷是因为用了Object Detection的模型做视觉特征抽取,所以速度太慢,在Vision Transformer之后,Vilt的作者用一个Vision Transformer去代替vision特征提取,只用一个Embedding层大大简化了模型结构,所以结合VIT和Oscar推出了ViLT。
  2. ALBEF:ALBEF的作者发现Clip比较高效,适合做图像文本检索,原始的方法因为Modality Fusion做得很好,所以多模态任务非常强,ViLT结构比较简单,所以最后综合各算法长处推出了ALBEF这样一个Fusion Encoder的模式.
  3. CoCa:SimVLM用Encoder Decoder去做多模态,在ALBEF的基础上推出了CoCa,用一个Contrast和Captioning两个Loss训练出非常强大的模型。
  4. VLMO:微软根据ALBEF和Vilt,提出VLMO,用共享参数的方式做一个统一的多模态的框架
  5. BLIP:ALBEF的作者基于参数共享的思想,基于可以用很多Text Branch,提出Blip的模型,能做非常好的Captioning功能,而且它的Caption Filter模型非常好用,能够像一个普适工具一样用到各种各样的情形中。
  6. BEIT:ViT也用Mask Data Modeling的方式做Self-Supplied Learning,但是效果不是很好,而微软团队认为Mask Data Modeling是非常有前景的方向,所以顺着Bert的思想提出BEIT,号称计算机视觉界的Bert Moment,很快又推出BEITv2,但这个主要做视觉任务,不是多模态。
  7. Vision Language BEIT:BEIT可以在视觉上做Mask Modeling,Bert可以在文本上做Mask Modeling,因此作者将视觉和文本合在一起,推出VL-BEIT
  8. BEITv3:该团队将VLMO, VLBEIT和BEITv2三个工作合起来,推出多模态的BEITv3,大幅超过了CoCa, Blip在单模态和多模态上的各种表现。
  9. MAE:Mask Auto Encoder,主要是Mask and Predict Pixel(BEIT是Mask and Predict Patch),其实Vision Transformer都已经做,但是效果都不是很好,BEIT和MAE都把效果推到一个非常高的高度
  10. Flip:Fast Language Image Prediction,MAE有一个非常好的一个特性,就是在视觉端把大量的Patch全都Mask掉之后,只把没有Mask过的Patch送入Vision Transformer学习,大大减少了计算量,Flip把MAE的这个有用的特性用到Clip的结构里,模型就是Clip没有任何的改变,只不过在视觉端跟MAE一样,只用没有Mask的Token,这样就把Sequence Length降低了很多,训练就快了。
文章来源:https://blog.csdn.net/qq_36816848/article/details/135794758
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。