6.3.1 knn

我们将iris.s数据分为两份，一份为训练集，用于建模。另一份为测试集，用于预测我们建模的好坏。这里我们将训练集和测试集的比例分为2:1，也就是训练集有100个数据，而测试集有50个数据。

set.seed(111) #设置随机种子，保证随机抽样的一致性

# 按照因变量Species进行分层抽样，设置训练集恶占比为2/3
index <- createDataPartition(iris.s$Species, p = 2/3, list = F)
train1 <- iris[index, ] # 抽取2/3的数据作为训练集
test1 <- iris[-index, ] # 抽取1/3的数据作为测试集

train <- train1[-5]     # 踢除第5列，即因变量Species列
test <- test1[-5]       # 踢除第5列，即因变量Species列

以上训练集和测试集我们除去了Species(种类)变量，所以我们还要建立一个只包含 Species变量的训练集和测试集，以便我们后期用knn建模和预测：

train.Species <- iris.s[index, 5]  # 只包含Species变量的训练集
test.Species <- iris.s[-index, 5]  # 只包含Species变量的测试集

对于knn算法测试数据中的每一个实例，该函数将使用欧氏距离标识k个近邻，其中k是指我们自己指定的一个数。然后在这k个近邻中选出类数最多的那个类。

接下来来看看knn()函数的参数，对它创建分类器并进行预测：

p <- knn(train, test, class, k)

• train: 矩阵或数据集的训练集案例
• test: 矩阵或数据集的测试集案例
• class: 包含训练数据每一行的分类
• k: 邻居的数量

训练数据集有120个数据实例，因为11的平方接近于120，所以我们将k设为11。

library(class)
iris.knn <- knn(train = train,      # 指定训练集
                test = test,        # 指定测试集
                cl = train.Species, # 练数据每一行的分类
                k = 11)             # 设k值为11

上面我们建立了模型，接下来欧式对模型进行评估。下面我们使用table()函数去构建混淆矩阵，统计模型的精确度。

table(test.Species, iris.knn) # 建立混淆矩阵

##             iris.knn
## test.Species setosa versicolor virginica
##   setosa         16          0         0
##   versicolor      0         16         0
##   virginica       0          1        15

从返回的结果中可以看出，一共有1个数据被错误分类(把virginica类的鸢尾花误分为了versicolor的鸢尾花)，其他均分类正确，即模型的正确率为98%。

对于kknn算法测试数据中的每一个实例，该函数将使用闵可夫斯基距离标识k个近邻，其中k是指我们自己指定的一个数。然后再给k个近邻使用内函数来根据距离对k个点进行加权。然后计算出这k个近邻中所属类别概率最高的那个类。

让我们来看看kknn()函数的参数。创建分类器并进行预测：

p <- kknn(formula = formula(train), train, test, na.action = na.omit(), k = 7, distance = 2, kernel = “optimal”)

• formula: 一个回归模型。具体为：分类变量~特征变量。
• train： 训练集
• test： 测试集
• na.action： 缺失值处理，默认为去掉缺失值。
• k： k值选择，默认为7。
• kernel：内核使用。可能的选择是“矩形”(这是标准的未加权KNN)、“三角形”、“EpnEnnimikOv”(或β(2，2))“高斯”。
• distance: diatance为闵科夫斯基距离，默认为2时，该距离为欧式距离。

#install.packages("kknn")
library(kknn)

## 使用kknn函数进行预测
iris.kknn <- kknn(formula = Species ~ ., # 指定分类变量和特征变量
                  train = train1,        # 指定训练集
                  test = test1,          # 指定测试集
                  distance = 11,         # 设p值为11
                  k = 11,                # 设邻居的个数为11
                  kernel = "triangular") # 内核函数使用三角形

fit <- iris.kknn$fitted.values           # 提取fit列，即预测分类的结果
table(test.Species, fit)                 # 建立混淆矩阵

##             fit
## test.Species setosa versicolor virginica
##   setosa         15          1         0
##   versicolor      0         16         0
##   virginica       0          1        15

从返回的结果中可以看出，一共有2个数据被错误分类，其他均分类正确，即模型的正确率为96%。