介绍一种新的激活函数族ACON

1 引言

该论文是旷视科技收录于CVPR2021的一篇理论性的文章，作者提出了一个简单、有效的激活函数，该激活函数可以决定是否要激活神经元，在此基础上作者进一步提出了激活函数，它通过引入开关因子去学习非线性（激活）和线性（非激活）之间的参数切换。实验结果表明，在图像分类，目标检测以及语义分割的任务上，该激活函数都可以使得深度模型有显著的提升效果。

论文链接：https://arxiv.org/abs/2009.04759
代码链接：https://github.com/nmaac/acon

2 ACON

2.1 光滑最大值函数

考虑标准最大函数的个值，它的光滑性的和可微的性近似为:

其中表示连接系数。当时，则有最大值；当时，则有。在神经网络中，许多常见的激活函数是函数的形式，其中和表示线性函数。作者的目标是用这个公式来近似激活函数。考虑时的情况，将表示为Sigmoid函数，近似值为:

2.2 ACON-A

当，时，则有：

以上公式即是激活函数，也是激活函数。函数是最近被提出的一个新的激活函数。尽管它最近被广泛使用，但对于它为什么提高性能缺乏合理的解释。作者给我们提供了一个新的解释即是的平滑近似。

2.3 ACON-B

作者将族中的最大值的激活，转换为族中。作者展示了的近似，它的原始形式为：

其中是一个可学习的参数，初始化的数值为。在大多数情况下，作者将其改写为如下形式：

考虑，，则可获得新的激活函数:

2.4 ACON-C

遵循的原理，采用了相同的双自变量函数，带有一个额外的超参数，只是在功能上使用超参数缩放。设

则有：

与一样，令，。如下图所示作者对的定义是一个非常简单和普遍的情况。

2.5 一阶导数的上下界

的一阶导数计算公式如下所示：

令，则可以得到：

其中，解以上的方程可知，可以得到最小和最大值

这与一阶导数中有固定上界和下界的激活函数不同。在中，超参数仅决定一阶导数渐近上界和下界的速度，并且这些界是可学习的，并且由中的和决定。可学习的边界对于简化优化是必不可少的，这些可学习的上界和下届是改善结果的关键。

2.6  Meta-ACON

当切换因子控制激活为非线性或线性时，将激活切换为激活或不激活。当时，；当，。

因此，不同于传统的激活如，允许每个神经元自适应地激活或不激活。这种激活行为有助于提高泛化和传输性能。

学习开关因子明确地以输入样本为条件。目的不是提出一个具体的结构，而是在生成函数中提供一个设计空间。作者使用一个路由函数来计算以输入特征为条件的，其结构可以是分层的，这意味着一层中的元素共享相同的开关因子，计算公式为：

通道中的元素共享相同的开关因子

其中，，且像素级的开关因子为。

3 实验结果

如下图和下表可以发现：

1）、和与它们的最大基函数相比，精度都有显著提高，这显示了可微和平滑转换的好处；

2）的表现优于和，受益于一阶导数的自适应的上限和下限；

3）随着模型网络深度的越来越深，获得了持续的精度提高。

如下表的结果表明，本文提出的方法在所有网络结构中都获得了显著的性能提升。在模型中提高了。对于更深的玩网络模型中，仍然显示出显著的改进，如在和上分别在精度上分别提高了和。

下表显示了本论文提出激活函数与，，，和这些激活函数的比较。与之前的激活相比，和准确率分别提高了和。

作者在中，由于开关因子决定了激活过程中的非线性，在不同级别上为每个样本生成值，这些级别可以是像素级、通道级和层级。如下表结果表明，三个水平都能显著提高准确率。

如下表显示，在所有的网络结构中，的性能明显优于SENet。即使在极深的中，仍然提高了的精度，与相比提高了。

END

备注：CV

计算机视觉交流群

图像分割、姿态估计、智能驾驶、超分辨率、自监督、无监督、等最新资讯，若已为CV君其他账号好友请直接私信。

在看，让更多人看到