另类注意力机制之深度残差收缩网络(附代码)

  • 时间:
  • 浏览:3
  • 来源:uu快3官网_uu快3登入

最后,堆叠很多基本模块,就可以得到完正的网络形态。

角度残差收缩网络Deep Residual Shrinkage Network是并不是较为新颖的角度神经网络,本质上是角度残差网络ResNet的并不是改进版本,其目的是提高角度神经网络在强噪数据上的形态习效果,其核心思想在于:在形态习的过程中,剔除冗余信息也是有点要的

参考文献:

利用角度残差收缩网络进行MNIST手写数字的分类,可以看后,嘴笨 这麼加带噪声,效果还是挺好的。角度残差收缩网络的代码:

M. Zhao, S. Zhong, X. Fu, et al., Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898

以上曾经线程池池建立了也可以曾经基本模块的小型角度神经网络,MNIST图像数据中也这麼加带任何噪声。训练和测试准确率如下表所示,可以看后,即使是对于不含噪声的数据,角度残差收缩网络的效果也是挺不错的:

https://ieeexplore.ieee.org/document/88200096

角度残差收缩网络嘴笨 是并不是通用的角度形态习办法 ,不仅可以用于含噪数据的形态习,也可以用于不含噪声数据的形态习。这是将会,角度残差收缩网络中的阈值是根据样本状况自适应选泽的。换言之,将会样本中不含冗余信息、不还要软阈值化,这麼阈值可以被训练得非常接近于零,从而软阈值化就大约不居于了。

我应该 ,相较于普通的角度残差网络,角度残差收缩网络引入了曾经小型的子网络,用很多子网络学习得到一组阈值,继而对形态图的各个通道进行软阈值化。很多过程嘴笨 是曾经可训练的形态选泽的过程。具体而言,可是通过前面的曾经卷积层Conv将重要的形态变加带绝对值较大的值,将冗余信息所对应的形态变加带绝对值较小的值;通过子网络学习得到二者之间的界限,我应该 通过软阈值化将冗余形态置为零,一齐使重要的形态有着非零的输出;曾经就实现了曾经形态筛选的过程。

接下来是角度残差网络ResNet的线程池池:

首先,大家来回顾一下角度残差网络。角度残差网络的基本模块如下图所示。相较于普通的卷积神经网络,角度残差网络引入了跨层的恒等连接,以降低模型训练的难度,提高准确率。