![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/044bc7b51fad44dc87d1c62068346681.png)
计算量大
当input sequence 很长时,计算量特别大
- self-atttention 至少一个大模型的一部分
- 当input sequence 很长时,主要运算来自self - attention, 加快 self attention ,才能有明显的加快速度
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/49a6dbe433474520899f50547de1df41.png)
变形
- local attention
只计算左右两个位置的 attention weight, 其他位置设为0
缺陷: 只看到某个小范围的咨询
那岂不是跟CNN一样
计算快,但是效果不一定好
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/1931f009abf946bab55cf95c0759c7ac.png)
2. stride attention
如看两个间隔一个, 或者看一个间隔一个
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/001e391ee7f3474b97db2397912518d5.png)
3. global attention
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/67aba6035b2841dcadc1b942e2610679.png)
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/980f857850014d179d1ee5fec1671d8d.png)
所有的 attention 变形一起上
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/8bfe209e0e0142f0b6e9dd858168c7df.png)
直接估计在 atteontion matrix 里哪些位置数值大,哪些小,小的直接设为0
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/e05ea63cc2e7468d8b1f1b1ec64b2c67.png)
- 怎么快速预估attention weights?
(聚类,根据相似性)
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/02c2ae61bc4746f6b450bf32916e795e.png)
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/68af897800e34e30910dece0b78a0de0.png)
是否需要所有的 attention matrix
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/8566c61c45c841c78cc3397a4108c251.png)
选择有代表性的K
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/cb6350f11d354c51b4210d072f5017a9.png)
如何选择有代表性的K
CNN : 长sequence 变成 短 sequence
Linformer
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/3c4438124dab4b21b4d2fc9ece3eb3da.png)
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/e296cee6a3bb4cdb9b014bc8bb9d9d96.png)
Q K 维数需要一样,V不一定
转变计算顺序 矩阵相乘的顺序,计算量不一样
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/3e9ecec9cdd1428ebec4152f453bc94c.png)
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/bb9c05ad4637407dbb708161d351bcc3.png)
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/6cf8d06b14ec40af9940fc0fa07770c7.png)
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/8eda5a6c39054db1bb653e6adc375848.png)
总结
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/977497b1764e43cebbc78863c1155261.png)