众所周知nn.Dropout是用在全连接层按照一定的概率断开某些神经元的连接,在训练阶段使用,是防止过拟合的手段,通常用在一个全连接层之前。它的本质实际上是将任意形状的张量中的元素值置为0,所以它可以操作任意形状的张量,传入的参数只有概率p。
所以它和全连接层的关系不大,只是将张量中的一些元素置为0,如果后面接的是全连接层,这些元素作为输入神经元的值,0不起作用,所以流传了断开神经元之间的连接的说法。
但是,记住,它不一定非得存在于有全连接层的地方,它只是按照一定的概率将张量中的元素值置为0,所以在任何地方都可以对任何张量操作。