我们先来看看KNN的例子，使用交叉验证来评估。

from sklearn.model_selection import cross_validate
from sklearn.datasets import  load_iris
from sklearn.neighbors import KNeighborsClassifier  # 一个简单的模型，只有K一个参数，类似K-means

iris = load_iris()
clf = KNeighborsClassifier(5)
scoring = {'acc': 'accuracy',
           'prec_macro': 'precision_macro',
           'rec_micro': 'recall_macro'}
scores = cross_validate(clf, iris.data, iris.target, scoring=scoring,
                         cv=5, return_train_score=True, return_estimator=True)
print(scores.keys())
print(scores['test_acc'])

上面的例子大概知道了怎么使用。以及交叉验证的一些信息。

KNN有一个非常重要的参数就是n_neighbors，这个超参数很大程度上决定模型的准确性。
那么我们利用有限的数据集，来调出最有说服力，最合适的这个参数呢，当然可以使用交叉验证的指标来衡量其好坏。

尝试不同的n_neighbors参数，每一个都去做一次交叉验证，取结果最好的那个超参数模型即可。
代码如下：

from sklearn import datasets  # 自带数据集
from sklearn.model_selection import train_test_split, cross_val_score  # 划分数据 交叉验证
from sklearn.neighbors import KNeighborsClassifier  # 一个简单的模型，只有K一个参数，类似K-means
import matplotlib.pyplot as plt

iris = datasets.load_iris()  # 加载sklearn自带的数据集
X = iris.data  # 这是数据
y = iris.target  # 这是每个数据所对应的标签
train_X, test_X, train_y, test_y = train_test_split(X, y, test_size=1 / 3,
                                                    random_state=3)  # 这里划分数据以1/3的来划分 训练集训练结果 测试集测试结果
k_range = range(1, 31)
cv_scores = []  # 用来放每个模型的结果值

for n in k_range:
    knn = KNeighborsClassifier(n)  # knn模型，这里一个超参数可以做预测，当多个超参数时需要使用另一种方法GridSearchCV
    scores = cross_val_score(knn, train_X, train_y, cv=10,
                             scoring='accuracy')  # cv：选择每次测试折数  accuracy：评价指标是准确度,可以省略使用默认值，具体使用参考下面。
    cv_scores.append(scores.mean())  # 记录每个参数对应的交叉验证平均值。

plt.plot(k_range, cv_scores)
plt.xlabel('K')
plt.ylabel('Accuracy')  # 通过图像选择最好的参数
plt.show()

# 经过交叉验证的评估结果可以发现，参数n_neighbors=3是最佳的参数。
best_knn = KNeighborsClassifier(n_neighbors=3)  # 选择最优的K=3传入模型
best_knn.fit(train_X, train_y)  # 训练模型
print(best_knn.score(test_X, test_y))  # 看看评分

《scikit-learn》使用交叉验证优化KNN参数_KNN