45、激活函数 - 为什么非线性这么重要

发布时间:2023年12月31日

这一节开始讲一讲神经网络中的激活函数,在讲激活函数之前,先讲一下非线性。

看一个基础知识:线性函数的叠加,我们初中学过的知识点

假设有一个线性函数,y = kx + b, 这个函数画出来是下面的样子,这里显示 y 和 x 是线性关系。

而如果这个时候又有一个线性关系 z = hy + d,那么,可以通过如下的线性变换,得到变量 z 和 x 同样也是线性关系。

z = hy + d

= z(kx + b) + d

= zk x + zb + d

= zk(x) + (zb + d)

令 zk = K, zb + d = B,那么 z 和 x 的关系就可以写出 z = Kx + B

所以,z 和 x 同样是线性关系。

这里想说的一个原理是:多个线性关系的叠加,还是线性关系,他不可能变成非线性关系。

回到神经网络,我们知道卷积的算法公式是 y = x * w, 其中 x 是输入数据,w 是权值,中间的 * 代表卷积计算。

那么x * w 是线性关系还是非线性关系呢?不好意思,就是线性关系。

文章来源:https://blog.csdn.net/dongtuoc/article/details/135318796
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。