返回

KNN-简单方法实现---《Python3机器学习与实战》总结+案例

发布时间:2023-09-11 20:58:44 175


KNN-简单方法实现,未总结KD树。

k-近邻算法是通过测量不同特征值之间的距离进行分类的。基本思路是:如果一个样本在特征空间中的k个最近邻样本中的大多数属于某一个类别,则该样本也属于这一个类别。该方法在决定类别上只依据最近的一个或几个样本的类别来决定待分类样本所属的类别,在KNN中所选择的邻居都是已经正确分类的对象。

KNN的算法流程:

  • 1.计算测试数据与各个训练数据之间的距离
  • 2.按照距离的递增或者递减关系进行排序
  • 3.选取距离最小的k个点,在训练集中用交叉验证确定K。
  • 4.确定前k个点所在类别的出现频率
  • 返回前k个点出现频率最高的类别作为测试数据的预测分类。

案例:

KNN-简单方法实现---《Python3机器学习与实战》总结+案例_最小值


KNN-简单方法实现---《Python3机器学习与实战》总结+案例_最小值_02

# coding=utf-8
from numpy import * # 科学计算包numpy
import operator # 运算符模块


# k-近邻算法
# 计算距离
def classify0(inX, dataSet, labels, k):
dataSetSize = dataSet.shape[0] # shape读取数据矩阵第一维度的长度
diffMat = tile(inX, (dataSetSize, 1)) - dataSet # tile重复数组inX,有dataSet行 1个dataSet列,减法计算差值
sqDiffMat = diffMat ** 2 # **是幂运算的意思,这里用的欧式距离
sqDisttances = sqDiffMat.sum(axis=1) # 普通sum默认参数为axis=0为普通相加,axis=1为一行的行向量相加
distances = sqDisttances ** 0.5
sortedDistIndicies = distances.argsort() # argsort返回数值从小到大的索引值(数组索引0,1,2,3)
# 选择距离最小的k个点
classCount = {}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]] # 根据排序结果的索引值返回靠近的前k个标签
classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1 # 各个标签出现频率
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True) # 排序频率
# sorted(iterable, cmp=None, key=None, reverse=False) --> new sorted list。
# reverse默认升序 key关键字排序itemgetter(1)按照第一维度排序(0,1,2,3)
return sortedClassCount[0][0] # 找出频率最高的


# 创建数据集
def createDataSet():
group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
labels = ['A', 'A', 'B', 'B']
return group, labels


def file2matrix(filename):
fr = open(filename)
arrayOLines = fr.readlines()
numberOfLines = len(arrayOLines) # 读出数据行数
returnMat = zeros((numberOfLines, 3)) # 创建返回矩阵
classLabelVector = []
index = 0
for line in arrayOLines:
line = line.strip() # 删除空白符
listFromLine = line.split('\t') # split指定分隔符对数据切片
returnMat[index, :] = listFromLine[0:3] # 选取前3个元素(特征)存储在返回矩阵中
classLabelVector.append(int(listFromLine[-1]))
# -1索引表示最后一列元素,位label信息存储在classLabelVector
index += 1
return returnMat, classLabelVector


# 归一化特征值
# 归一化公式 :(当前值-最小值)/range
def autoNorm(dataSet):
minVals = dataSet.min(0) # 存放每列最小值,参数0使得可以从列中选取最小值,而不是当前行
maxVals = dataSet.max(0) # 存放每列最大值
ranges = maxVals - minVals
normDataSet = zeros(shape(dataSet)) # 初始化归一化矩阵为读取的dataSet
m = dataSet.shape[0] # m保存第一行
# 特征矩阵是3x1000,min max range是1x3 因此采用tile将变量内容复制成输入矩阵同大小
normDataSet = dataSet - tile(minVals, (m, 1))
normDataSet = normDataSet / tile(ranges, (m, 1))
return normDataSet, ranges, minVals


# 测试约会网站分类结果代码
def datingClassTest():
hoRatio = 0.10 # hold out 10%
datingDataMat, datingLabels = file2matrix('datingTestSet2.txt') # load data setfrom file
normMat, ranges, minVals = autoNorm(datingDataMat)
m = normMat.shape[0]
numTestVecs = int(m * hoRatio)
errorCount = 0.0
for i in range(numTestVecs):
classifierResult = classify0(normMat[i, :], normMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 3)
print("分类器返回的值: %s, 正确的值: %s" % (classifierResult, datingLabels[i]))
if (classifierResult != datingLabels[i]): errorCount += 1.0
print("总的错误率是: %f" % (errorCount / float(numTestVecs)))
print("错误的个数:%f" % errorCount)


# 完整的约会网站预测:给定一个人,判断时候适合约会
def classifyPerson():
resultList = ['不喜欢', '一般喜欢', '特别喜欢']
percentTats = float(input("玩游戏占的百分比"))
ffMiles = float(input("每年坐飞机多少公里"))
iceCream = float(input("每年吃多少公升的冰淇淋"))
datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')
normMat, ranges, minVals = autoNorm(datingDataMat)
inArr = array([ffMiles, percentTats, iceCream])
classifierResult = classify0((inArr - minVals) / ranges, normMat, datingLabels, 3)

print("你将有可能对这个人是:", resultList[int(classifierResult) - 1])


# datingClassTest() #分类器针对约会网站的测试代码
classifyPerson() # 约会网站预测


特别声明:以上内容(图片及文字)均为互联网收集或者用户上传发布,本站仅提供信息存储服务!如有侵权或有涉及法律问题请联系我们。
举报
评论区(0)
按点赞数排序
用户头像
精选文章
thumb 中国研究员首次曝光美国国安局顶级后门—“方程式组织”
thumb 俄乌线上战争,网络攻击弥漫着数字硝烟
thumb 从网络安全角度了解俄罗斯入侵乌克兰的相关事件时间线
下一篇
笔记: 常用数据预处理总结 2023-09-11 17:54:18