神经网络与激活函数

神经网络从数学上来说,就是用来拟合一个函数。把数据扔进去,得到一个预测结果,以此来解决分类和回归等问题。但是针对不同的问题,需要拟合不同的函数,包括线性函数和非线性函数。神经网络中常常会见到各种激活函数,当需要拟合非线性函数时就需要激活函数登场了。

常用激活函数总结 人工智能 第1张

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

对于每个神经元来说,都是先进行线性变换,再将线性变换的结果通过激活函数来进行激活。注意,这里的有效激活函数必须是非线性函数。如果采用线性激活函数,则在前向传播的过程中,相当于一直做线性变换,这样的话,无论多少隐藏层,都是线性变换,也就是隐藏层在这里没有发生作用,仍然是一个单层的感知机。当然对于最后一层的输出层则没有这个要求,可以选择线性或者非线性的激活函数。

常用激活函数总结

这里主要介绍非线性激活函数,线性的激活函数也就是恒等函数,在坐标轴表示为一条直线,通常使用较少。常见的非线性激活函数通常可以分为两类,一种是输入单个变量输出单个变量,如sigmoid函数,Relu函数;还有一种是输入多个变量输出多个变量,如Softmax函数,Maxout函数。

1.Sigmoid函数

Sigmoid函数,也叫做S函数将值限定在 \((0,1)\) 之间,能够很好的作为概率来解释算法得到的结果。目前在计算机视觉中不常用,只适用于二分类等问题。

缺点是当输入较大的正数或者负数时,导数就会变为0,这时候采用梯度下降方法就会下降很慢,使得神经网络不能正常更新。同时不是以0为对称,容易在更新时产生 zigzag 路径。

函数定义为
\[ a = sigmoid(z) = \frac{1}{1+e^{-z}} \]
其求导结果为
\[ a'=\frac{1}{1+e^{-z}}\left( 1 - \frac{1}{1+e^{-z}}\right)=a(1-a) \]
常用激活函数总结 人工智能 第2张

2.tanh函数

thah函数能够将值限定在 \((-1,1)\) 之间,比sigmoid函数更为常用。但是也存在与sigmoid函数一样的缺点,当在z值较大或者较小时,斜率接近0,这时优化速度很慢,这种情况下可以考虑采用ReLU函数。

函数定义为
\[ a = thah(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}} \]

求导结果为
\[ a' = 1 - tanh^2(z) = 1 - a^2 \]

常用激活函数总结 人工智能 第3张

3. ReLU函数及其变体

ReLU函数,也叫做线性整流函数,能够解决在值较大时产生的梯度为0的问题,能够正常的更新,并且没有复杂的指数计算,使得性能较好,收敛较快,是目前在视觉领域最为常见的激活函数。

ReLU函数为
\[ a = ReLU(z) = max(0,z) \]

其导数为
\[ a' = \left\{\begin{matrix} 0 & x<0 \\ 1 & x>0 \end{matrix}\right. \]
常用激活函数总结 人工智能 第4张

LeakyReLU是为了防止ReLU函数在负数时,斜率为0的情况,但在实际情况中,很难到负数那边去,所以基本采用ReLU就足够了,不过也建议采用交叉验证来试试这个函数。

Leaky ReLU为
\[ a = LeakyReLU(z) = max(0.01z,z) \]
其导数为
\[ a' = \left\{\begin{matrix} 0.01 & x<0 \\ 1 & x>0 \end{matrix}\right. \]
常用激活函数总结 人工智能 第5张

此外,还有几种激活函数由算法来学习负数区域的学习率,如PReLU函数和ELU函数,原理与ReLU函数类似。

4.Softmax函数

softmax函数与sigmoid函数很相似,也是将值变换到 \((0,1)\) 之间。但是可以针对多个类别,预测出每个类别的归一化概率,所以通常softmax函数是在分类器的输出层使用。

其函数表达式为
\[ \sigma (z)_{j}= \frac{e^{z_j}}{\sum_{k=1}^{K}e^{z_k}} \]

如何选择激活函数

选择激活函数没有固定的规则,每个激活函数适用于不同的应用,比如分类和回归,多分类和二分类任务。但根据每个激活函数的性质,也存在一些基本的规律

  • 对于二分类问题,在输出层可以选择 sigmoid 函数。
  • 对于多分类问题,在输出层可以选择 softmax 函数。
  • 由于梯度消失问题,尽量sigmoid函数和tanh的使用。
  • tanh函数由于以0为中心,通常性能会比sigmoid函数好。
  • ReLU函数是一个通用的函数,一般在隐藏层都可以考虑使用。
  • 有时候要适当对现有的激活函数稍作修改,以及考虑使用新发现的激活函数。

欢迎大家关注公众号“计算机视觉与机器学习”
常用激活函数总结 人工智能 第6张

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄