activation

下面我们介绍激活函数。 一,激活函数概述 激活函数在深度学习中扮演着非常重要的角色,它给网络赋予了非线性,从而使得神经网络能够拟合任意复杂的函数。 如果没有激活函数,无论多复杂的网络,都等价于单一的线性变换,无法对非线性函数进行拟合。 目前,深度学习中最流行的激活函数为 relu, 但也有些新推出的激活函数,例如 swish、GELU,据称效果优于relu激活函数。...