nlp中的transformer中的mask

由于在实现多头注意力时需要考虑到各种情况下的掩码，因此在这里需要先对这部分内容进行介绍。在Transformer中，主要有两个地方会用到掩码这一机制。第1个地方就是在上一篇文章用介绍到的Attention Mask，用于在训练过程中解码的时候掩盖掉当前时刻之后的信息；第2个地方便是对一个batch中不同长度的序列在Padding到相同长度后，对Padding部分的信息进行掩盖。下面分别就这两种情况进行介绍。

1.Attention Mask

实现：generate_square_subsequent_mask

 def _generate_square_subsequent_mask(self, sz):
        mask = (torch.triu(torch.ones(sz, sz)) == 1).transpose(0, 1)
        mask = mask.float().masked_fill(mask == 0, float('-inf')).masked_fill(mask == 1, float(0.0))
        return mask

2.Padding Mask

实现：

用法：

https://blog.csdn.net/vivi_cin/article/details/135390462

参考：

nn.TransformerEncoderLayer中的src_mask，src_key_padding_mask解析_src_mask和src_key_padding_mask-CSDN博客

(32 封私信 / 4 条消息) transformer中: self-attention部分是否需要进行mask？ - 知乎 (zhihu.com)?几个很好的回答：

Q：transformer中attention_mask一定需要嘛？

A：Transformer结构包括编码器和解码器，在编码过程中目的就是为了让模型看到当前位置前后的信息，所以不需要attention mask。但是在解码过程中为了模拟在真实的inference场景中，当前位置看不到下一位置，且同时需要上一位置的信息，所以在训练的时候加了attention mask。

所以，如果你的任务在实际的inference中也符合这样的特点，那么你在训练的时候也是需要attention，相反则不需要。

参考：(32 封私信 / 4 条消息) transformer中attention_mask一定需要嘛？ - 知乎 (zhihu.com)