KNN是属于监督学习中的一类分类方法,KNN即k最邻近分类算法
1、KNN算法的核心思路
通过计算每个训练样本到待分类样本的距离【1】,取和待分类样本最近的k个训练样例【2】,k个样本中哪个类别的训练样例站多数,则待分类样品就属于哪个类别。
【1】这里的距离有很多中,例如有曼哈顿距离(p=1),欧式距离(p=2)等,大家可以去查一下各种距离的应用场景有何不同;
【2】这里取的最近的k个训练样例便是,KNN算法的精髓了,因为通过选取不同的k值会有不同的结果。
KNN算法的最简解释_待分类
2、算法描述与具体步骤
(1)算距离
(2)对距离排序,并圈出最近的k个训练对象
(3)做分类
具体步骤:
step.1—初始化距离为最大值
step.2—计算未知样本和每个训练样本的距离 dist
step.3—得到目前K个最临近样本中的最大距离 maxdist
step.4—如果dist 小于 maxdist,则将该训练样本作为 K-最近邻样
step.5—重复步骤2、3、4,直到未知样本和所有训练样本的距离
step.6—统计K-最近邻样本中每个类标号出现的次数
step.7—选择出现频率最大的类标号作为未知样本的类标号
3、KNN模型中三个基本要素
三个基本要素:距离度量、k值的选择和分类决策的规程
4、算法的优缺点
1) 优点
 简单,易于理解,易于实现,无需估计参数,无需训练;
 适合样本容量比较大的分类问题
 特别适合于多分类问题(multi-modal,对象具有多个类别标签),例如根据基因特征来判断其功能
分类,kNN比SVM 的表现要好
2) 缺点
 懒惰算法,对测试样本分类时的计算量大,内存开销大,评分慢;
 可解释性较差,无法给出决策树那样的规则

5、实例—–对电影类型进行分类
KNN算法的最简解释_初始化_02

import numpy as np   
from sklearn import neighbors
knn = neighbors.KNeighborsClassifier() #取得knn分类器
data = np.array([[3,104],[2,100],[1,81],[101,10],[99,5],[98,2]]) # data 对应着
打斗次数和接吻次数<`这里写代码片`/span>
labels = np.array([1,1,1,2,2,2]) #labels则是对应Romance 和Action
knn.fit(data,labels) #导入数据进行训练'''