可视化深度神经网络权重分布

系列:深— 1

本系列文章包含我在深度神经网络上进行的一系列实验中的研究,观察和怀疑。 如果您发现文章有误或想分享任何问题的答案,请发表评论。

在这个实验中,我的目标是在训练网络后可视化权重的分布,直到在MNIST数据集上达到90%的准确性,并将其与初始化网络时权重的分布进行比较。

情况1:使用正态(高斯)分布初始化网络。

网络超参数: 25个纪元,学习率:5e-4。 下图使用LeNet Architecture。

权重初始化超参数 :用于使用高斯分布初始化权重的参数。 1.标准偏差= 1,2 .平均值= 0。

达到的验证精度: 0.96875

情况2:使用正态(高斯)分布初始化网络。

网络超参数: 25个纪元,学习率:5e-4。 LeNet体系结构如上图所示。

权重初始化超参数 :用于使用均匀分布初始化权重的参数。 1.范围= [-1,1]

达到的验证准确性:0.9375

观察结果:

  1. 当使用均匀分布初始化权重时,在MNIST数据集上训练网络25个纪元后,权重就处于均匀分布中。
  2. 当使用正态分布初始化权重时,在MNIST数据集上训练网络25个历元后,权重就处于正态分布。

结论:

网络的这种行为似乎很奇怪,因为没有讨论训练前后的权重分配关系。 如果您想共享任何信息,请发表评论。

谢谢