nn.Dropout

发布时间:2024年01月04日

众所周知nn.Dropout是用在全连接层按照一定的概率断开某些神经元的连接,在训练阶段使用,是防止过拟合的手段,通常用在一个全连接层之前。它的本质实际上是将任意形状的张量中的元素值置为0,所以它可以操作任意形状的张量,传入的参数只有概率p。

所以它和全连接层的关系不大,只是将张量中的一些元素置为0,如果后面接的是全连接层,这些元素作为输入神经元的值,0不起作用,所以流传了断开神经元之间的连接的说法。

但是,记住,它不一定非得存在于有全连接层的地方,它只是按照一定的概率将张量中的元素值置为0,所以在任何地方都可以对任何张量操作。

文章来源:https://blog.csdn.net/weixin_42343912/article/details/135389667
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。