一.题目:
原生python实现knn分类算法(使用鸢尾花数据集)
K最近邻(KNN,K-nearestNeighbor)分类算法的核心思想是如果一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别,则该样本属于也属于这个类别,并具有这个类别样本上的特性。
即选取k个离测试点最近的样本点,输出在这k个样本点中数量最多的标签。所以要实现kNN算法,我们只需要计算出每一个样本点与测试点的距离(欧式距离),选取距离最近的k个样本,获取他们的标签,然后找出k个样本中数量最多的标签,返回该标签。
欧式距离:
m维空间的距离公式,d2 = (x1 - y1)2 + (x2 - y2)2 + ... + (xm - ym)2
二.算法设计:
1.导入数据:从CSV中读取数据,并把它们分割成训练数据集和测 试数据集。
数据集获取地址:
https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data
2.计算数据集中训练集数据与测试集两个数据实例之间的距离(欧氏距离)。
3.返回临近确定最相近的N个实例。
4.返回预测结果,对k个近邻进行合并,返回value最大的key 。
5.计算准确度,总结预测的准确度。
三.源代码:
import csv #用于处理csv文件
import random #用于随机数
import math
import operator
#加载数据集
def loadDataset(filename,split,trainingSet=[],testSet = []):
with open(filename,"r") as csvfile:
lines = csv.reader(csvfile)
dataset = list(lines)
for x in range(len(dataset)-1):
for y in range(4):
dataset[x][y] = float(dataset[x][y])
if random.random()<split: #随机对数据集进行分类
trainingSet.append(dataset[x])
else:
testSet.append(dataset[x])
#计算距离
def Distance(instance1,instance2,length):
distance = 0
for x in range(length):
distance += pow((instance1[x] - instance2[x]),2)
return math.sqrt(distance)
#返回K个最近邻
def getNeighbors(trainingSet,testInstance,k):
distances = []
length = len(testInstance) -1
#计算每一个测试实例到训练集实例的距离
for x in range(len(trainingSet)):
dist = Distance(testInstance, trainingSet[x], length)
distances.append((trainingSet[x],dist))
#对所有的距离进行排序
distances.sort(key=operator.itemgetter(1)) #operator模块提供的itemgetter函数用于获取对象的哪些维的数据
neighbors = []
#返回k个最近邻
for x in range(k):
neighbors.append(distances[x][0])
return neighbors
#对k个近邻进行合并,返回value最大的key
def getResponse(neighbors):
classVotes = {}
for x in range(len(neighbors)):
response = neighbors[x][-1]
if response in classVotes:
classVotes[response]+=1
else:
classVotes[response] = 1
#排序
sortedVotes = sorted(classVotes.items(),key = operator.itemgetter(1),reverse =True)
return sortedVotes[0][0]
#计算准确率
def getAccuracy(testSet,predictions):
correct = 0 #测试成功的数据个数
for x in range(len(testSet)): #循环取出一个测试数据进行测试
if testSet[x][-1] == predictions[x]:
correct+=1 #预测成功则计数值加一
return (correct/float(len(testSet))) * 100.0 #计算准确率
def main():
trainingSet = [] #训练数据集
testSet = [] #测试数据集
split = 0.67 #分割的比例
loadDataset("iris.data", split, trainingSet, testSet) #从文件中加载数据集
print('Train:',repr(len(trainingSet)))
print('Test:',repr(len(testSet)))
predictions = []
k = 3
for x in range(len(testSet)):
neighbors = getNeighbors(trainingSet, testSet[x], k)
result = getResponse(neighbors)
predictions.append(result)
print('>预测=' ,repr(result),',实际=',repr(testSet[x][-1]))
accuracy = getAccuracy(testSet, predictions)
print('准确率:',repr(accuracy),'%')
if __name__ =="__main__":
main()
四.调试:
1.加载数据文件
(错误的:原因是读取数据集文件错误,因为open默认读取的是文本文件,此处的数据集保存形式不是文本文件,将rb改为r就可以了)
(改正后:)
2.k临近调试
五.测试:
1.
数据集切分测试代码:
随机切分结果:
2.
k最临近测试代码:
测试结果:
3.
欧氏距离测试代码:
测试结果:
六.运行结果:、
七.总结:
学习参考了CSDN文章:
在编程过程中的第一步就出现了错误,主要原因是对open打开文件的默认格式不清楚。接下来是对k个最临近数据进行排序时浪费了很长时间,找了很多方法,最终使用operator.itemgetter(1)这个方法完成了排序。
收获:对于python的语法有了进一步的了解,而且将最基础的语法也进行了学习(因为一开始我的输出语句都能写错),也知道了几个用于对数据字典进行操作的函数。最主要的是这次将字典,列表的知识掌握的很熟悉。