对于超分辨问题,所有空间位置和通道都有着相同的重要性(即权值相同)。在一些情况下,在给定的层中选择性地处理部分特征可能更有帮助。
注意力机制则可以赋予其这样的灵活性。注意力机制的核心重点就是让网络关注到它更需要关注的地方。一般而言,注意力机制可以分为通道注意力机制,空间注意力机制,以及二者的结合。
注意力机制可以挑出更重要 特征图通道、空间位置,给予其更大的权重,从而提升重建效果。
注意力机制是深度学习常用的一个小技巧,它有多种多样的实现形式,尽管实现方式多样,但是每种注意力机制的核心是类似的。
在深度学习中