1,分类和回归
用python进行机器学习时,我一直有个困惑就是线性回归、逻辑回归的区别在哪儿?机器学习的过程中,究竟是如何应用的呢?要解决这个问题,这就涉及到数据的分类了。如下图所示:
感谢猴子老师提供的图片。如上图,大体上数据可分三种类型,离散的、连续的和时间序列三种,这三种数据类型对应不同的方法。下图中列出了方法的分类、区别:
这两张图中对比了回归和分类方法的区别,以及机器学习中常见的术语,应该清楚了吧?哈哈,下面通过一个实例进行进一步的阐述。
2,准备数据
先准备好数据如下:
3,提出问题
根据数据,这是一个由“学习时间”和“通过考试”组成的数据表,那么提出三个问题;能否通过机器学习模型,让其预测某个学习时间通过考试的概率是多少?
或者更进一步,能否直接反馈某个学习时间能否通过考试?
若建立了模型,则该模型预测的正确率是多少?
带着上述三个问题,进一步进行分析。
4,理解数据
画出原始数据examDF的散点图,方便理解数据。
如上所示,数据呈现两极分布,分属于两类,此时用分类方法比较合适,下一步讲采取适用分类数据的逻辑回归进行分析预测。
5,构建模型
根据数据examDF显示出来的两极分布特性,采用sklearn的逻辑回归进行分析。
5.1 选取特征和标签,并拆分训练-测试数据集(train—test数据集)
如上所示,用sklearn中的train_test_split函数,对原始数据的80%选为训练数据,20%为测试数据。
5.2 绘制训练-测试数据散点图
通过散点图查看训练-测试数据的分布。
5.3 训练模型
用sklearn的LogisticRegression构建逻辑回归模型,并用fit函数训练前面拆分得到的训练-测试数据。
然而,事情并没有这么顺利,用fit进行训练时出现报错,提示“如果只有一个特征,应将特征数据重塑为只有1列的数组”,则有:
如上,这次训练模型成功。
6,评估模型
评估逻辑回归的准确度要用到score方法,score的值的表示预测正确数/总数量,如下:
正确率为0.75,表示模型model_1对测试数据进行预测后,与原测试数据的标签对比后发现正确率为75%。
7,用模型进行预测
为了验证模型,也为了更好的理解逻辑回归的过程,现预测当学习时间为3时,通过考试的概率。
7.1 用model的predict_proba预测不通过/通过的概率
如上,当学习时间为3小时时,不通过与通过的概率分别是0.38071038 、0.61928962。
7.2 用model的predict预测能否通过,并直接输出标签
如上,不通过返回0,通过返回1。结果返回1,与7.1中预测的概率结果一致。
7.3 详解逻辑回归预测的具体过程
如上图所示,预测的结果与7.1中预测的概率一致。而上图更是详细展示了逻辑回归是如何预测的,这也解释了本质上是二分分类的逻辑算法,为何会被归为回归,因为逻辑算法的自变量z是通过线性回归的方法得出的。
8,学习心得
实际使用中,可使用model.predict_proba预测相关概率;
而用model.predict,可直接预测能否通过,返回的是最后的标签
遇到逻辑回归不明白的地方,不应钻牛角尖,可尝试先完成手头项目,“完成比完美更重要”,后面练得多了自然就熟悉了。