Transformer｜1.4 CNN遇到的问题与窘境

发布时间：2024年01月21日

文章目录

CNN遇到的问题与窘境

在这里插入图片描述
判断一个人是否为美人，既要看她各个五官，也要看她各个五官占的比例和协调。
既要照顾好局部信息，也要照顾好全局信息。
局部信息用小的感受野进行感受，而全局信息用大的感受野进行感受。
在这里插入图片描述

transformer 的优势

在这里插入图片描述
0号token在第一层就可以看到其它所有的token。
而CNN在多层卷积后才有这个机会。（比如最开始是3x3的卷积，下一层是9x9的卷积，只有在下一层时才能够看到其他8个3x3的卷积部分）
在这里插入图片描述

在这里插入图片描述

文章来源:https://blog.csdn.net/Fangyechy/article/details/135724020
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章