2.1 构建流程

  随机森林的构建流程并不复杂，其主要流程如下：

• 应用Bootstrap重采样方法有放回地随机抽取n个新的自助样本集
• 随机从所有变量中抽取m个变量作为子数据集的变量
• 对k个含有m个变量的子数据集分别构建CART树，其他子数据集作为测试集
• 把需要预测的数据代入生成的多个CART树，根据每棵树的投票结果取票数最高的一个类别

2.2 性能

• 每棵CART树生长越茂盛，组成的随机森林的性能越好
• 每棵树之间独立性越高，租成的随机森林的性能越好

2.3 优缺点

3.1 获取并探索数据

mydata <- iris
str(mydata)

## 'data.frame':    150 obs. of  5 variables:
##  $ Sepal.Length: num  5.1 4.9 4.7 4.6 5 5.4 4.6 5 4.4 4.9 ...
##  $ Sepal.Width : num  3.5 3 3.2 3.1 3.6 3.9 3.4 3.4 2.9 3.1 ...
##  $ Petal.Length: num  1.4 1.4 1.3 1.5 1.4 1.7 1.4 1.5 1.4 1.5 ...
##  $ Petal.Width : num  0.2 0.2 0.2 0.2 0.2 0.4 0.3 0.2 0.2 0.1 ...
##  $ Species     : Factor w/ 3 levels "setosa","versicolor",..: 1 1 1 1 1 1 1 1 1 1 ...

summary(mydata)

##   Sepal.Length    Sepal.Width     Petal.Length    Petal.Width   
##  Min.   :4.300   Min.   :2.000   Min.   :1.000   Min.   :0.100  
##  1st Qu.:5.100   1st Qu.:2.800   1st Qu.:1.600   1st Qu.:0.300  
##  Median :5.800   Median :3.000   Median :4.350   Median :1.300  
##  Mean   :5.843   Mean   :3.057   Mean   :3.758   Mean   :1.199  
##  3rd Qu.:6.400   3rd Qu.:3.300   3rd Qu.:5.100   3rd Qu.:1.800  
##  Max.   :7.900   Max.   :4.400   Max.   :6.900   Max.   :2.500  
##        Species  
##  setosa    :50  
##  versicolor:50  
##  virginica :50  
##                 
##                 
## 

  从上述简单的数据探索中发现，数据一共五列。其中四列是数值型，一列是因子型，并且因子型变量的因子水平一致，每个水平的观测均是50个。

3.2 分层抽样

  分层抽样，又称分组抽样。是一种比SRS更精准的随机抽样法，所用的方法是跟据我们的研究性质，依照相关的条件把母群体中的个体分成不同的层别或组别(strata)，再分别从每一层别或组别中的个体随机抽出一定的个体来组成样本。

  在caret程序包中提供了一种非常方便的分层抽样函数createDataPartition()，下面是该函数的参数解释：

createDataPartition(y, times = 1, p = 0.5, list = TRUE, groups = min(5, length(y)))

• y：指定数据集中的输出变量
• times：指定创建的样本个数，默认简单随机抽取一组样本
• p：指定数据集中用于训练集的比例
• list：是否已列表或矩阵的形式存储随机抽取的索引号，默认为TRUE
• groups：如果输出变量为数值型数据，则默认按分位数分组进行取样

# install.packages("caret")
library(caret)

set.seed(45)
idx <- createDataPartition(y = mydata$Species, p = 0.7, list = F)

trainset <- mydata[idx, ]
testset <- mydata[-idx, ]

prop.table(table(mydata$Species)) # 计算原数据集中Species的占比

## 
##     setosa versicolor  virginica 
##  0.3333333  0.3333333  0.3333333

prop.table(table(trainset$Species)) # 计算训练集中Species的占比

## 
##     setosa versicolor  virginica 
##  0.3333333  0.3333333  0.3333333

prop.table(table(testset$Species)) # 计算测试集中Species的占比

## 
##     setosa versicolor  virginica 
##  0.3333333  0.3333333  0.3333333

  通过分层抽样，我们把数据拆分为了训练集和测试集，并计算其对应的因变量的比例，发现每个数据集中各个类别的比例均是0.33，说明达到了分层抽样的目的。

3.3 训练模型

  我们使用上面提到的randomForest()函数对训练集训练模型，设置随机变量的个数为3，树的个数为30，并且计算其变量重要性。

# install.packages("randomForest")
library(randomForest)

set.seed(45)
rf <- randomForest(Species ~., data = trainset, mtry = 3, ntree = 30, importance = T)

3.4 展示变量重要性

imp <- importance(x = rf) # 计算变量重要性
imp

##                setosa versicolor virginica MeanDecreaseAccuracy
## Sepal.Length 0.000000   2.659596  1.428697             3.458823
## Sepal.Width  0.000000   0.000000  2.127039             2.045518
## Petal.Length 4.705308   6.126779  5.735264             6.413416
## Petal.Width  6.510190  10.718260 11.020814            10.340348
##              MeanDecreaseGini
## Sepal.Length         1.118633
## Sepal.Width          1.261948
## Petal.Length        24.540647
## Petal.Width         42.307979

varImpPlot(rf) # 展示变量重要性

  上面使用MeanDecreaseAccuracy和MeanDecreaseGini两种指标衡量了各个变量的重要性，发现最重要的是Patal.Width，其次是Patal.Length这两个变量，从一定程度上也说明了鸢尾花的分类与花瓣有比较大的关系。

3.5 预测且评估

pred <- predict(rf, testset[-5]) # 对测试集进行预测
table(pred, testset$Species)

##             
## pred         setosa versicolor virginica
##   setosa         15          0         0
##   versicolor      0         15         1
##   virginica       0          0        14

  从混淆矩阵中可以看出，仅有一个样本被预测错误(一个virginica的鸢尾花被错误的分类为了versicolor)，改模型的分类效果还是非常好的。