书接前文
前文链接: 用BEVformer来卷自动驾驶-2 (qq.com)
上文书基本把BEV的概念捋清楚了,也对标准BEV可能存在的计算和显存的压力做了一番分析
这篇就是介绍BEVformer是个啥
先给个定义,BEVformer就是个基本框架:
1-通过多个摄像头来进行特征融合,纯视觉方案
2-通过特征对齐,将attention应用于时间与空间维度
3-Attention也是极简attention,抛弃多余的特征,在允许的范围内,尽量的粗粒度分布的空间(省资源)
4-Deformable-attention(这个估计大概率得开一门新篇了,这里就简单介绍一下)
举些例子说明它怎么做到的以上的能力和思路
老图新改
按照下图说,比如我要求橙色箭头上对应的这个点的特征,那如果我想求出这个点的特征,要和其他6个矩阵中的哪几个矩阵去做乘法呢(没错其实就可