3.1 数据初探

  在对数据有了一定了解之后，我们首先要做的是确定需要建立的模型的基本形式。

  可以看到，数据集中的Species是支持向量机模型中的结果标签，对应的部分分别是Swpal.Length、Sepal.Width、Petal.Length以及Petal.Width。所以我们建立模型的简单公式可以大概分为Species ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Width。在接下来的建模过程中，我们将围绕这个公式进行分析。

3.2 数据处理

  在建立人工神经网络模型之前，我们需要对数据进行预处理。

  作为建立人工神经网络模型的处理方式主要进行数据的归一化。数据归一化是一种常用的神经网络预测前要做的处理方法，需要将所有数据都转化为[0,1]之间的数，其目的是取消各维度数据间数量级的差别，避免因为输入输出数据的数量级差别较大导致网络预测误差较大。

  数据归一化的方法有多种，主要使用的是最大最小法和平均数方差法。这里我们采用最大最小法进行数据归一化。

  最大最小法的函数形式如下： \[ x_k = (x_k – x_{min}) / (x_{max} – x_{min})\]   式中\(x_{min}\)指的是数据序列中最小的数， \(x_{max}\)表示数据序列中最大的数。

  平均数方差法的函数形式如下： \[ x_k = (x_k – x_{mean}) / x_{var} \]   式中，\(x_{mean}\)表示数据序列的均值，\(x_{var}\)表示数据的方差。

  对于第一种0-1归一化方法，这里将通过自写程序对原始数据进行预处理，这里也可以使用其他的函数。此处给出相应程序供大家参考。

scale0 <- function(x){
  ncol <- dim(x)[2]-1               # 提取预处理样本集中特征变量个数
  nrow <- dim(x)[1]                 # 提取预处理样本集中样本总量
  new <- matrix(0, nrow, ncol)      # 构造保存新样本集的零矩阵
  for(i in 1:ncol) {                # 建立循环进行数据提取
    max <- max(x[,i])               # 提取每个变量的最大值
    min <- min(x[,i])               # 提取每个变量的最小值
    for(j in 1:nrow) {
      new[j,i] <- (x[j,i]-min)/(max - min)    # 计算归一化之后的新数据集
    }
  }        
  new                               # 输出得到的新数据集
}

3.3 建立模型

  通过前面的介绍我们了解到，nnet()函数在建立支持单隐藏层前馈神经网络模型的时候有两种建立方式，下面我们具体介绍两种建立过程。

  使用第一种函数使用格式，需要首先确定模型数据，再确定模型的相应变量和自变量。

set.seed(1)                               # 确定抽样随机种子
samp <- sample(1:150, 100)                # 从总样本集中抽取100个样本作为训练集
iris[samp, 1:4] <- scale0(iris[samp, ])   # 对样本进行预处理（使用自编函数）
r <- 1/max(abs(iris[samp, 1:4]))          # 确定参数rang的变化值
set.seed(101)                             # 确定构建模型随机种子
nnetModel1 <- nnet(Species ~ ., data = iris, subset = samp, 
                  size = 2, rang = r, decay = 5e-4, maxit = 200)     # 建立神经网络模型

## # weights:  19
## initial  value 112.651586 
## iter  10 value 47.377992
## iter  20 value 17.139600
## iter  30 value 7.931815
## iter  40 value 7.010459
## iter  50 value 6.959446
## iter  60 value 6.948984
## iter  70 value 6.932991
## iter  80 value 6.920669
## iter  90 value 6.910135
## iter 100 value 6.793606
## iter 110 value 6.418930
## iter 120 value 6.062719
## iter 130 value 5.774312
## iter 140 value 5.704716
## iter 150 value 5.602482
## iter 160 value 5.534234
## iter 170 value 5.506035
## iter 180 value 5.500827
## iter 190 value 5.498079
## iter 200 value 5.496488
## final  value 5.496488 
## stopped after 200 iterations

  根据函数的第二种使用格式，我们在首先应该将响应变量和自变量提取出来。自变量用矩阵表示，响应变量用class.ind()函数相应的预处理。确定好数据之后，应该根据数据分析所使用的各项参数的具体值。使用这种模式不需要特别强调所建立模型的形式，函数会自动将所有输入到x矩阵中的数据作为构建模型的自变量。构建模型具体过程如下：

x <- subset(iris, select = -Species)       # 提取iris中除去类别的数据作为自变量
y <- iris[, 5]                             # 提取iris中的类别变量作为响应变量
y <- class.ind(y)                          # 对响应变量进行预处理，将其变为指标矩阵
set.seed(101)                              # 确定模型构建随机种子
nnetModel2 <- nnet(x, y, size = 2, rang = r, decay = 5e-4, maxit = 200)    # 构建神经网络模型

## # weights:  19
## initial  value 158.913750 
## iter  10 value 85.260181
## iter  20 value 54.944394
## iter  30 value 50.584788
## iter  40 value 50.392842
## iter  50 value 50.310375
## iter  60 value 50.231725
## iter  70 value 50.194801
## iter  80 value 50.088354
## iter  90 value 49.849151
## iter 100 value 49.749197
## iter 110 value 49.722189
## iter 120 value 49.717006
## iter 130 value 49.714296
## iter 140 value 49.709887
## iter 150 value 49.700255
## iter 160 value 49.578326
## iter 170 value 49.218922
## iter 180 value 48.152775
## iter 190 value 47.416702
## iter 200 value 47.217706
## final  value 47.217706 
## stopped after 200 iterations

  上述过程中，两种模型的相关参数都是一样的，权重衰减速度decay均为5e-4，最大迭代次数maxit均为200，隐藏层节点数均为2个，最终我们得到了一个4-2-3的神经网络，即输入层是4个节点，隐藏层是2个节点，输出层是3个节点。

3.4 结果分析

summary(nnetModel1)             # 查看nnetModel1模型的结果

## a 4-2-3 network with 19 weights
## options were - softmax modelling  decay=5e-04
##  b->h1 i1->h1 i2->h1 i3->h1 i4->h1 
##   7.43   1.25   2.48  -7.20  -6.50 
##  b->h2 i1->h2 i2->h2 i3->h2 i4->h2 
##   2.58  -2.85   2.54  -5.57  -5.42 
##  b->o1 h1->o1 h2->o1 
##  -5.03   1.67  10.34 
##  b->o2 h1->o2 h2->o2 
##  -2.64   9.83  -9.45 
##  b->o3 h1->o3 h2->o3 
##   7.67 -11.49  -0.90

  通过summary()函数我们得到关于模型的相关信息。第一行中代表的是模型的总体信息，即这是一个4个输入层，2个隐藏层，3个输出层的人工神经网络模型，它的权重共有19个。

  第二行显示的是模型中的参数设定，在构建模型的过程中，我们只设置了权重衰减最小值，使用这里显示出了模型衰减最小值为5e-4.

  结果的第三部分显示出模型的具体判断过程，其中i1，i2，i3和i4分别表示输入层的4个节点；h1和h2分别表示隐藏层的2个节点；o1，o2和o3分别表示输出层的3个节点。b可以认为是一个常数项。判断过程下方的数值表示的是每一个节点向下一个节点的输入值的权重值。

3.5 预测判别

  通常我们建立模型之后，主要目的是使用模型进行相应的预测和判别。在利用nnet()函数建立的模型进行预测时，我们将用到R语言中自带的函数predict()来对模型进行预测。

  在使用predict()函数时，应该首先确定预测模型的类别。由于我们在建立模型的时候有两种方式，用predict()；函数预测时会有两种不同的预测结果，这里需要我们分清楚将要进行的是哪一类模型。具体操作如下：

  针对第一种建模方式建立的模型：

x <- iris[, 1:4]          # 确认要进行预测的样本特征矩阵
pred <- predict(nnetModel1, x, type = "class")   # 根据模型model对x数据进行预测
set.seed(110)
pred[sample(1:150, 6)]       # 随机挑选6个预测结果进行展示

## [1] "virginica"  "versicolor" "virginica"  "virginica"  "virginica" 
## [6] "versicolor"

  进行数据预测时，我们主要注意的问题是必须保证用于预测的自变量向量的个数同模型建立时使用的自变量向量个数一致，否则程序会出现问题。使用predict()函数进行预测时，我们无需特意调整预测结果类型。根据上述结果展示，我们可以发现predict()函数在预测时自动识别预测结果的类型，并自动生成了相应的类别名称。相对地，利用第一种建模方式建立的模型在预测时较为方便。

  针对第二种建模方式建立的模型：

xx <- iris[, 1:4]       # 确认需要进行预测的样本特征矩阵
pred <- predict(nnetModel2, xx)    # 根据模型对xx数据进行预测
dim(pred)               # 查看预测结果的维度

## [1] 150   3

pred[sample(1:150, 6), ]   # 随机挑选6个预测结果进行展示

##          setosa versicolor    virginica
## [1,] 0.18060235 0.06603900 0.8854194738
## [2,] 0.19757773 0.05341646 0.9164268540
## [3,] 0.07747761 0.27960169 0.4227512673
## [4,] 0.07482277 0.88304010 0.0003121728
## [5,] 0.14580385 0.09717943 0.8178997037
## [6,] 0.91623896 0.02863937 0.0131332682

  通过predict()函数对第二种模型进行预测，得到一个矩阵，而第一种模型得到的预测是模型中类别的名字。

  在随机挑选的4个预测结果中，我们可以看到每个样本对应3种类别分别有3个数字，而这3个数字是3个输出结果的输出值。这三个数求和约等于1，可以理解为样本是某一类别的概率，对于样本类别的判别则是概率最大的一类。

  因此，我们需要将上述预测结果进行进一步处理，以便直观看出预测类别。

name <- c("setosa","versicolor","virginica")    # 确定3个类别的名称
prednew <- max.col(pred)                        # 确定每行中最大值所在的列
prednewname <- name[prednew]                    # 根据预测结果将其变为相应的类别名称
set.seed(200)
prednewname[sample(1:150, 6)]                   # 随机挑选6个预测结果展示

## [1] "versicolor" "versicolor" "versicolor" "virginica"  "versicolor"
## [6] "virginica"

  进行预测之后，我们需要检查模型预测的精度，需要用到table()函数将预测结果和真实值进行对比，过程如下：

true <- max.col(y)          # 确定真实值中每行中最大值所在的列
table(true, prednewname)    # 展示模型预测精度

##     prednewname
## true setosa versicolor virginica
##    1     32          1        17
##    2      0         33        17
##    3      0          2        48

  通过table()函数得到的模型预测精度结果，我们可以看到模型将32个setosa类型的样本预测正确，但是1个样本被预测为versicolor，17个样本被预测为virginica；33个versicolor类型的样本预测正确，但是17个被误预测为virginica；48个virginica类型的样本预测正确，但是2个被预测为versicolor。

3.6 模型差异分析

  在利用nnet()函数进行模型建立的过程中，Wts参数通常被默认为原始值，但是在nnet()函数中，Wts参数的值在模型建立过程中是系统随机生成的，也就是说我们每一次建立模型所使用的迭代初始值都是不相同的。因此我们在实际建模中会遇到下面的现象：使用同样的数据，采取同样的节点数，设定同样的参数，得到的模型却是天壤之别。

  我们将从3个方面对模型差异进行分析。

nnetModel1$convergence   # 查看第一个模型的迭代过程中是否达到迭代次数的最大值

## [1] 1

nnetModel2$convergence   # 查看第二个模型的迭代过程中是否达到迭代次数的最大值

## [1] 1

nnetModel1$value        # 查看第一个模型的迭代最终值

## [1] 5.496488

nnetModel2$value        # 查看第二个模型的迭代最终值

## [1] 47.21771

name <- c("setosa", "versicolor", "virginica")   # 为三个类别确定名称
pred1 <- name[max.col(predict(nnetModel1, x))]   # 利用第一种模型的预测方法对模型1进行预测
pred2 <- name[max.col(predict(nnetModel2, x))]   # 利用第二种模型的预测方法对模型2进行预测
table(iris$Species, pred1)                       # 模型1预测精度展示

##             pred1
##              setosa versicolor virginica
##   setosa         32         18         0
##   versicolor      0         35        15
##   virginica       0          1        49

table(iris$Species, pred2)                       # 模型2预测精度展示

##             pred2
##              setosa versicolor virginica
##   setosa         32          1        17
##   versicolor      0         33        17
##   virginica       0          2        48