李沐深度学习-激活函数文档

发布时间：2024年01月19日
multilayer perceptron (MLP)：多层感知机(多层神经网络)

(hidden layer)隐藏层：
    介于输入层和输出层之间的网络层
    输入层不涉及计算，如果一个神将网络由三层组成，则多层感知机层数为2
    多层感知机中隐藏层和输出层都是全连接
    隐藏层的输出(也叫隐藏层变量或隐藏变量)
    隐藏层单元个数≠隐藏层变量个数

    将隐藏层的输出作为输出层的输入，联立后得到的式子依然从形式上等价于一个单层神经网络
    原因是因为全连接层只是对数据做仿射变换(affine transformation) ，多个仿射变换的叠加仍然是一个仿射变换，所以需要引入非线性变换
    例如使用对隐藏变量按元素运算的份线性函数进行变换，再将结果作为下一个全连接层的输入，这个非线性函数即激活函数

激活函数：

    1. ReLU(rectified linear unit)
        给定元素x，该函数定义为：ReLu(x)=max(x,0)
    2. sigmoid  变换数据到0-1之间
    3. tanh 变换数据到-1,1之间

多层感知机的层数以及隐藏层中隐藏单元个数都是超参数，可以人为设定
文章来源:https://blog.csdn.net/qq_43401942/article/details/135701590
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章