3.1 数据初探

  在对数据有了一定了解之后，我们首先要做的是确定需要建立的模型的基本形式。

  可以看到，数据集中的Species是支持向量机模型中的结果标签，对应的部分分别是Swpal.Length、Sepal.Width、Petal.Length以及Petal.Width。所以我们建立模型的简单公式可以大概分为Species ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Width。在接下来的建模过程中，我们将围绕这个公式进行分析。

3.2 建立模型

  在前面的介绍中我们了解到，svm()函数在建立支持向量分类机模型的时候有两种建立方式。一种是根据既定公式建立模型，另一种是根据数据建立模型。下面我们将从这两种建模过程分别出发，依次讲述建模过程。

  根据函数的第一种使用格式，我们在建模时，需要首先确定所建立模型里使用的数据，然后确定模型的结果变量和特征变量。过程如下：

svmModel <- svm(Species ~ ., data = iris)  # 构建svm模型

  根据函数的第二组使用格式，首先需要把结果变量和特征变量分别提取出来。结果向量用向量表示，特征向量用矩阵表示。在确定好数据后应该根据数据分析所使用的核函数以及核函数所对应的参数值，通常默认使用高斯内积函数作为核函数。过程如下：

x = iris[, -5]  # 提取iris数据中除去第5列以外的数据作为特征变量
y = iris[, 5]   # 提取iris数据中的第5列作为结果变量
svmModel <- svm(x, y, kernel = "radial", gamma = if(is.vector(x))1 else 1/ncol(x))  # 建立svm模型

  在使用第二种格式建立模型时，不需要特别强调所建立模型的形式，函数会自动将所有输入的特征变量数据作为建立模型所需要的特征向量。

  在上述过程中，确定核函数的gamma系数时所使用的R语言所代表的含义为：如果特征向量是向量，则gamma取值为1，否则gamma值是特征向量个数的倒数。

3.3 结果分析

summary(svmModel)  # 查看支持向量机模型的相关结果

## 
## Call:
## svm.default(x = x, y = y, kernel = "radial", gamma = if (is.vector(x)) 1 else 1/ncol(x))
## 
## 
## Parameters:
##    SVM-Type:  C-classification 
##  SVM-Kernel:  radial 
##        cost:  1 
##       gamma:  0.25 
## 
## Number of Support Vectors:  51
## 
##  ( 8 22 21 )
## 
## 
## Number of Classes:  3 
## 
## Levels: 
##  setosa versicolor virginica

  通过summary()函数可以得到关于模型的相关信息。其中，SVM-Type说明构建的模型的类别是C分类器模型；SVM-Kernel说明模型所使用的核函数为高斯内积函数且核函数中gamma取值为0.25；cost说明模型确定的约束违反成本为1.

  在输出结果中，模型找到了51个支持向量，并划分为了3类，每一类支持向量的个数分别为8个、22个和21个。Levels说明模型中三个分类分别是setosa、versicolor和virginica。

3.4 预测判别

  通常我们利用样本数据构建模型之后，主要目的是利用模型来进行相应的预测和判别。在用svm()函数构建模型进行预测时，我们将用到R语言自带的predict()函数进行预测。在进行预测之前，首先要确定用于预测的样本数据，并将样本数据的特征变量整合放入同一个矩阵。操作如下：

x <-  iris[, 1:4]             # 确认需要进行预测的样本特征矩阵
pred <- predict(svmModel, x)  # 根据模型对x进行预测
pred[sample(1:150, 8)]        # 随机挑选8个预测结果进行展示

##        146        124         47        136         66         12 
##  virginica  virginica     setosa  virginica versicolor     setosa 
##         63         21 
## versicolor     setosa 
## Levels: setosa versicolor virginica

  在进行预测时，主要要注意必须保证预测的特征向量个数应该与建立模型时的特征向量个数一致，否则会报错。在使用predict()函数时不用刻意调整预测结果类型。

  通过上述预测结果展示，可以看到predict()函数在预测时自动识别预测结果的类型，并自动生成了相应的类别名称。通知进行预测之后，还需要检查模型预测的精度，这需要用table()函数展示进行预测结果与实际结果的对比。结果如下：

table(pred, y)  # 模型预测精度展示

##             y
## pred         setosa versicolor virginica
##   setosa         50          0         0
##   versicolor      0         48         2
##   virginica       0          2        48

  通过观察table()函数对模型预测精度的展示结果，我们可以看到，模型在预测时将所有属于setosa类型的花全部预测正确，属于versicolor类型的花中48朵预测正确，但将另外2朵预测为virginica类型，属于virginica类型的花中48朵预测正确，但将另外2朵预测为versicolor类型。

3.5 综合建模

  通过上述对支持向量机理论及支持向量机模型在R语言中的具体应用介绍，我们将整理前面的内容，基于iris数据集综合介绍利用R语言建立模型的完整过程。

  分析数据可以看出，数据需要判别3个类型，而且三个类别属于字符型，属于我们可以选择的支持向量分类机共有3类：C-classification、nu-classification和one-classification。同时，可以选择的核函数共有4类：线性核函数（linear）、多项式核函数（polynomial）、径向基核函数（radialbasis，RBF）和神经网络核函数（sigmoid）。所以在时间和精力允许的情况下，应该尽可能地建立所有模型，最后比较得到最佳模型。根据上述分析，实现过程如下。

attach(iris)     # 将数据集iris按列确认为向量
x <- subset(iris, select = -Species)  # 确定特征变量为iris除去Species的对象
y <- Species               # 确定结果变量为iris中的Species项
type <- c("C-classification", "nu-classification", "one-classification")  # 确定将要使用的分类方式
kernel <- c("linear", "polynomial", "radial", "sigmoid")     # 确定将要使用的核函数
pred <- array(0, dim = c(150, 3, 4))             # 初始化预测结果矩阵的三维长度分别为150,3,4
accuracy <- matrix(0, 3, 4)          # 初始化模型精准度矩阵的两维分别为3和4
yy <- as.integer(y)              # 为方便模型精度计算，将结果变量数量化为1,2,3
for(i in 1:3)  {               # 确定i影响的维度代表分类方式
  for (j in 1:4) {
    pred[, i, j] <- predict(svm(x, y, type = type[i], kernel = kernel[j]), x)   # 对每一个模型进行预测
    if(i>2)  accuracy[i, j] <- sum(pred[, i, j] != 1)
    else    accuracy[i, j] <- sum(pred[, i, j] != yy)
  }
}

## Warning in Ops.factor(yorig, ret$fitted): '-' not meaningful for factors

## Warning in Ops.factor(yorig, ret$fitted): '-' not meaningful for factors

## Warning in Ops.factor(yorig, ret$fitted): '-' not meaningful for factors

## Warning in Ops.factor(yorig, ret$fitted): '-' not meaningful for factors

dimnames(accuracy) <- list(type, kernel)   # 确定模型精度变量的列名和行名

  在运行结果中，使用if语句进行不同预测精度的运算。最后得到所有12个模型的预测精度，accuracy代表的是模型预测错误的个数。

  根据预测结果挑选出预测错误较少的模型，根据实际情况进行分析，得到最适合的模型

  相应的预测结果如下：

  从表中我们可以看出，利用C-classification与高斯核函数结合的模型判别错误最少。下面我们将利用C-classification和高斯核函数结合的模型预测结果列出：

table(pred[, 1, 3], y)   # 模型预测精度展示

##    y
##     setosa versicolor virginica
##   1     50          0         0
##   2      0         48         2
##   3      0          2        48

  得到这个较优的模型之后，我们将针对这个模型进行具体的分析与讨论，力图进一步提高模型的预测精度。

3.6 可视化分析

  在建立支持向量机模型之后，我们还需要对模型进行进一步分析，为了便于分析，我们将用plot()函数对模型信息可视化。

plot(cmdscale(dist(iris[, -5])), 
     col = c("red", "blue", "green")[as.integer(iris[, 5])], 
     pch = c("o", "+")[1:150 %in% svmModel$index + 1])       # 绘制模型分类散点图
legend(2.2, -0.5, c("setosa", "versicolor", "virginica"),
       col = c("red", "blue", "green"), lty = 1)     # 图例标注

  通过plot()函数对支持向量机进行可视化之后，得到的图形是对模型数据类别的一个总体观察。图中的“+”表示支持向量，“o”表示普通样本点。

  由上图我们可以看到，setosa与其他两种差别较大，versicolor与virginica的差别较小。这也能够说明预测过程中出现问题的原因。

  我们还可以利用plot()函数对模型类别关于模型中任意两个特征向量的变动过程进行绘图，具体过程如下；

svmModel <- svm(Species ~ ., data = iris)         # 利用公式格式建立模型
plot(svmModel, iris, Petal.Width ~ Petal.Length, fill = FALSE, 
     symbolPalette = c("red", "blue", "green"), svSymbol = "+")   # 绘制模型类别关于花瓣宽度与长度的分类情况
legend(1, 2.5, c("setosa", "versicolor", "virginica"), 
       col = c("red", "blue", "green"), lty = 1)    # 图例标注

  通过对花瓣宽度和长度可视化之后，可以得到：setosa类别与另外两种相差较大，versicolor与virginica相差较小。virginica的花瓣长度和宽度总体上高于其他两种，versicolor的花瓣长度和宽度处于居中位置，setosa的花瓣长度和宽度小于另外两种。

3.7 优化建模

  我们可以看到，尽管预测错误已经很少，但是否存在一个最优的支持向量机模型，使得预测错误减少至0呢？

  通过对模型的可视化分析，无论从总体还是个别特征的角度观察，setosa与其他两种差异较大，另外两种差异较小。模型预测中出现错误的部分也是相似的两种类别。

  因此，我们与通过改变模型各个类别的比重来进行数据调整。由于setosa同其他两种类别相差较大，所以我们可以考虑降低setosa在模型中的比重，提高另外两种类别的比重，牺牲setosa的精度来提高versicolor和virginica的精度。这种方法可以通过svm中的class.weights参数进行调整。注意，class.weights参数需要的数据为具有列名的向量。

wts <- c(1,1,1)    # 确定模型中每个类别的比重相同
names(wts) <- c("setosa", "versicolor", "virginica")   # 确定各个比重对应的类别
svmModel1 <- svm(x, y, class.weights = wts)     # 构建比重相同的支持向量机模型

  当模型各个类别比重相同，是支持向量机最原始的模型，预测结果与上面所述相同。接下来我们将比重进行调整，观察预测精度是否发生变化，是否为积极的影响。

wts <- c(1, 50, 50)   # 将每个分类的比重更改为1:100:100
names(wts) <- c("setosa", "versicolor", "virginica")   # 确定各个比重对应的类别
svmModel2 <- svm(x, y, class.weights = wts)     # 构建比重相同的支持向量机模型
pred2 <- predict(svmModel2, x)            # 根据模型进行预测
table(pred2, y)                           # 展示预测结果

##             y
## pred2        setosa versicolor virginica
##   setosa         50          0         0
##   versicolor      0         49         1
##   virginica       0          1        49

  通过预测结果的展示，降低setosa的比重确实能影响预测精度，并且是积极的影响。我们继续改变权重来提高模型的精度。

  我们将两个类别的权重继续扩大10倍，即比原始权重扩大500倍，过程如下：

wts <- c(1, 500, 500)   # 将每个分类的比重更改为1:100:100
names(wts) <- c("setosa", "versicolor", "virginica")   # 确定各个比重对应的类别
svmModel3 <- svm(x, y, class.weights = wts)     # 构建比重相同的支持向量机模型
pred3 <- predict(svmModel3, x)            # 根据模型进行预测
table(pred3, y)                           # 展示预测结果

##             y
## pred3        setosa versicolor virginica
##   setosa         50          0         0
##   versicolor      0         50         0
##   virginica       0          0        50

  经过权重调整，所有样本的预测全部正确。因此必要的时候可以通过改变各类样本的权重比例来提高模型预测精度。