文章目录
- 1.KNN算法的个人理解
- 2.KNN核心思想
- 3.KNN的实现代码
- 4.例子
- 6.KNN的优缺点
- 7.上面例子的测试代码
1.KNN算法的个人理解
个人感觉KNN算法（K-NearestNeighbor）一种极其简单粗暴的分类方法，举一个例子，比如说你想知道一个人是不是喜欢打游戏，就可以观察他最亲密的几个朋友是不是都喜欢打游戏，如果大多数都喜欢打游戏，可以推测这个人也喜欢打游戏。KNN就是基于这种有点“物以类聚，人以群分”的简单粗暴的想法来进行分类的。
2.KNN核心思想
在给定一个训练数据集，再给定一个需要作出预测的数据，然后再在训练数据集中寻找k（这个就是KNN的K的由来）个与待预测数据最近（通常我们可以取欧氏距离作为距离的度量）的数据。最后选取k个数据中出现最多的分类作为待预测数据的分类。
欧氏距离：
3.KNN的实现代码
def KNN(inpudata,data_matrix,label_matrix,k):
'''
:param inpudata: 待预测的数据
:param data_matrix: 数据集
:param label_matrix: 数据集的标签
:param k: 寻找的近邻数
:return: 分类的结果
'''
datalen=data_matrix.shape[0]
inpudata=np.tile(inpudata,(datalen,1))#海伦约会的例子将数据变成(datalen,3)
sub=inpudata-data_matrix
sq=sub**2
sum=sq.sum(axis=1)#按行方向求和
distance=sum*0.5
sorteddisarg=distance.argsort()# 按距离从小到大排序的索引
classcount={}#记录各出现次数
for i in range(k):
vote=label_matrix[sorteddisarg[i]]# 第i个元素的类别
classcount[vote]=classcount.get(vote,0)+1 #给vote这个键的值加一，如果这个键不存在，则创建并设置默认值0
# key=operator.itemgetter(1)根据字典的值进行排序，为0根据字典的键进行排序
# reverse降序排序字典
result=sorted(classcount.items(),key=operator.itemgetter(1),reverse=True)
return result[0][0] #返回分类的结果
4.例子
下面以海伦约会的例子来运用实现的KNN算法
海伦约会数据集下载
数据总共有1000行
特征
1.每年飞行里程数
2.玩游戏时间
3.每周消费的冰淇淋公升数
标签
1.didntLike
2.smallDoses
3.largeDoses
下面展示数据集的可视化结果：
由上图可见，海伦喜欢每年有适当飞行公里数的人（大概在40000左右），而且有一定游戏时间数的男人，但是不喜欢那种一直在外面飞的男人。
下面先来进行KNN算法的准确度计算：
我们取该数据集前面十分之一作为测试集，后面的十分之九作为训练集，检验一下分类的正确率：
建议在实现过程中对数据实现归一化，因为在此数据集中，相比于游戏时间和每周冰淇淋消费公升数，飞机飞行公里数在数值上最大，它的变化对距离的计算产生的影响也就更大，也就更容易影响到最后的分类结果。但是海伦在约会实例中我们认为三个特征同等重要，因此我们需要将所有的特征的取值范围进行限制，让三个特征对最终的分类结果的影响相同。
经过测试后发现归一化前后测试数据的正确率前者为80%,后者为96%
归一化前： 归一化后：
最后我们给出3组数据然后使用KNN进行预测：
预测结果：
6.KNN的优缺点
优点：1.只找离待预测点最近的K个值，对异常的值不敏感
2.理解与实现都很容易
缺点：1.计算量大，内存开销大
