R语言实现拟合神经网络; 神经网络包

匿名 (未验证) 提交于 2019-12-02 23:42:01
版权声明:本文为博主原创文章,未经博主允许不得转载。咨询链接:http://y0.cn/teradat 博文链接: https://blog.csdn.net/qq_19600291/article/details/90485459

神经网络一直是迷人的机器学习模型之一,不仅因为花哨的反向传播算法,而且还因为它们的复杂性(考虑到许多隐藏层的深度学习)和受大脑启发的结构。

神经网络并不总是流行,部分原因是它们在某些情况下仍然存在计算成本高昂,部分原因是与支持向量机(SVM)等简单方法相比,它们似乎没有产生更好的结果。然而,神经网络再一次引起了人们的注意并变得流行起来。

neuralnet包装拟合一个简单的神经网络,并将线性模型作为比较。

数据集

我们将在MASS包中使用Boston数据集。
波士顿数据集是波士顿郊区房屋价值数据的集合。我们的目标是使用所有其他可用的连续变量来预测自住房屋(medv)的中值。

  

首先,我们需要检查是否缺少数据点,否则我们需要修复数据集。

 apply(data,2,function(x)sum(is.na(x)))  

没有遗漏数据,很好。我们通过随机将数据分成火车和测试集来进行,然后我们拟合线性回归模型并在测试集上进行测试。请注意,我正在使用该gml()函数而不是lm()这将在以后交叉验证线性模型时变得有用。

 index < -  sample(1:nrow(data),round(0.75 * nrow(data)))    MSE.lm < -  sum((pr.lm  -  test $ medv)^ 2)/ nrow(test) 

sample(x,size)函数简单地从向量输出指定大小的随机选择样本的向量x。默认情况下,采样无需替换:index

准备适应神经网络

在拟合神经网络之前,需要做一些准备工作。神经网络不容易训练和调整。

作为第一步,我们将解决数据预处理问题。
在训练神经网络之前规范化数据是一种很好的做法。我无法强调这一步骤的重要性:根据您的数据集,避免标准化可能会导致无用的结果或非常困难的训练过程(大多数情况下算法在允许的最大迭代次数之前不会收敛)。您可以选择不同的方法来缩放数据(z-normalization,min-max scale等)。我选择使用min-max方法并在区间[0,1]中缩放数据。通常在区间[0,1]或[-1,1]中缩放往往会产生更好的结果。
因此,我们在继续之前缩放和分割数据:

 maxs < -  apply(data,2,max)   scaled < -  as.data.frame(scale(data,center = mins,scale = maxs  -  mins)) train_ < -  scaled [index,] test_ < -  scaled [-index,] 

请注意,scale返回需要强制转换为data.frame的矩阵。

参数

据我所知,虽然有几个或多或少可接受的经验法则,但没有固定的规则可以使用多少层和神经元。通常,如果有必要,一个隐藏层足以满足大量应用程序的需要。就神经元的数量而言,它应该在输入层大小和输出层大小之间,通常是输入大小的2/3。至少在我的简短经验中,一次又一次的测试是最好的解决方案,因为无法保证这些规则中的任何一个最适合您的模型。
由于这是一个玩具示例,我们将使用此配置使用2个隐藏层:13:5:3:1。输入层有13个输入,两个隐藏层有5个和3个神经元,输出层当然是单个输出,因为我们正在进行回归。

   f < -  as.formula(paste(“medv~”,paste(n [!n%in%“medv”],collapse =“+”))) nn < -  neuralnet(f,data = train_,hidden = c(5,3),linear.output = T) 

几个笔记:

  • 由于某种原因y~.,该neuralnet()函数不接受该公式。您需要先编写公式,然后将其作为拟合函数中的参数传递。
  • hidden参数接受一个包含每个隐藏层的神经元数量的向量,而该参数linear.output用于指定我们是否要进行回归linear.output=TRUE或分类linear.output=FALSE

Neuralnet包提供了绘制模型的好工具:

 plot(nn)  

这是模型的图形表示,每个连接都有权重:

黑色线条显示每个层与每个连接上的权重之间的连接,而蓝线显示每个步骤中添加的偏差项。偏差可以被认为是线性模型的截距。
网基本上是一个黑盒子,所以我们不能说拟合,重量和模型。可以说训练算法已经收敛,因此可以使用该模型。

使用神经网络预测medv

现在我们可以尝试预测测试集的值并计算MSE。请记住,网络将输出标准化预测,因此我们需要将其缩小以进行有意义的比较(或仅仅是简单的预测)。

 pr.nn < -  compute(nn,test _ [,1:13]) pr.nn_ < -  pr.nn $ net.result *(max(data $ medv)-min(data $ medv))+ min(data $ medv) test.r < - (test_ $ medv)*(max(data $ medv)-min(data $ medv))+ min(data $ medv) MSE.nn < -  sum((test.r  -  pr.nn _)^ 2)/ nrow(test_) 

然后我们比较两个MSE

显然,在预测medv时,网络比线性模型做得更好。再一次,要小心,因为这个结果取决于上面执行的列车测试分割。下面,在视觉图之后,我们将进行快速交叉验证,以便对结果更有信心。
下面绘制了网络性能和测试集上的线性模型的第一种可视方法

   plot(test $ medv,pr.nn_,col ='red',main ='Real vs expected NN',pch = 18,cex = 0.7) abline(0,1,LWD = 2) legend('bottomright',legend ='NN',pch = 18,col ='red',bty ='n') plot(test $ medv,pr.lm,col ='blue',main ='Real vs expected lm',pch = 18,cex = 0.7) abline(0,1,LWD = 2) legend('bottomright',legend ='LM',pch = 18,col ='blue',bty ='n',cex = .95) 

输出图


通过目视检查图,我们可以看到神经网络的预测(通常)在线周围更加集中(与线的完美对齐将表明MSE为0,因此是理想的完美预测),而不是由线性模型。

下面绘制了一个可能更有用的视觉比较:

然后通过计算平均误差,我们可以掌握模型的运作方式。

我们将使用神经网络的for循环和线性模型cv.glm()boot包中的函数来实现快速交叉验证。
据我所知,R中没有内置函数在这种神经网络上进行交叉验证,如果你知道这样的函数,请在评论中告诉我。以下是线性模型的10倍交叉验证MSE:

   lm.fit < -  glm(medv~。,data = data)  

plyr库初始化进度条,因为我想要密切关注过程的状态,因为神经网络的拟合可能需要一段时间。

过了一会儿,过程完成,我们计算平均MSE并将结果绘制成箱线图

   cv.error 10.32697995 17.640652805 6.310575067 15.769518577 5.730130820 10.520947119 6.121160840 6.389967211 8.004786424 17.369282494 9.412778105  

上面的代码输出以下boxplot:

如您所见,神经网络的平均MSE(10.33)低于线性模型的MSE,尽管交叉验证的MSE似乎存在一定程度的变化。这可能取决于数据的分割或网络中权重的随机初始化。通过使用不同的种子运行模拟不同的时间,您可以获得更精确的平均MSE点估计。

关于模型可解释性的最后说明

非常感谢您阅读本文,有任何问题请在下面留言!

文章来源: https://blog.csdn.net/qq_19600291/article/details/90485459
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!