None
S
sadscv
发布于
slide 4
在神经网络中有这样一个特点,网络中的参数数量m小于样本数量n,这样才容易训练出有好的泛化效果的模型。如果网络中参数太多样本相对少了的话,网络非常容易过拟合,导致训练的时候效果很好,但是测试的时候效果并不理想。
在图中的全连接神经网络,所有的上下层每一个神经元之间都有连接,层数的增长就会带来参数数量膨胀的问题。
为了解决这个问题后来有学者就引入了今天要介绍的卷积神经网络CNN。
就像这副图中所看到的,把一副图片中的每个像素点作为输入层输入,之后先进过卷积操作,至于什么是卷积我们等下会讲到,得到一个feature map, 可以理解为特征的映射。然后再对它欠采样(有些书上也叫作池化),得到一副比原来图像尺寸小很多的图片,再重新对它进行卷积,池化,一直循环,等最后得到的特征维度已经很小,这个时候再把它输入之前展示的全连接网络。最后得到输出的结果。
我们注意到,对于图像,如果没有卷积操作,学习的参数量是灾难级的。CNN之所以用于图像识别准确率很高,正是由于CNN模型限制了参数的个数并挖掘了局部结构的这个特点。
CNN最早是被应用在图像识别领域效果很好,在多个数据集上刷新了当时的最好成绩。今天我们要介绍的这篇文章的历史背景就是作者将当时在图像领域很火的卷积神经网络移植到NLP领域中来。依旧取得了非常出色的效果 。
在深入这篇文章之前我们最后再来了解一个NLP领域原本就很流行的神经网络模型,RNN
next slide.
阅读 2
评论 0