文章目录题目未减枝思想画图预剪枝思想画图后剪枝思想画图比较总结参考全部代码画图代码 题目试编程实现基于基尼指数进行划分选择的决策树算法，为表4.2中数据生成预剪枝、后剪枝决策树，并与未剪枝决策树进行比较。 (牢骚：剪枝这块真是头大，剪枝的原理很清晰，代码实现的时候遇到了问题，看了一些代码，不知道是可读性的问题还是自己反应慢，最后还是靠着自己的理解实现了，自知水平不行，现记录一下。主要在于记录一下
五、剪枝处理
过拟合：在决策树学习过程中，为了尽可能正确分类训练样本，结点划分过程将不断重复，有时会造成决策树分支过多，这时就可能会因训练样本学得太好，以致于把训练集自身的一些特点当作所有数据都具有的一般性质导致过拟合。
转载
2023-05-29 23:26:47
94阅读
4.1基本流程决策树的结构一个决策树包含一个根结点、若干个内部结点和若干个叶结点；叶结点对应于决策结果，其他每个结点则对应于一个属性测试；每个结点包含的样本集合根据属性测试的结果被划分到子结点中；根结点包含样本全集，从根结点到每个叶结点的路径对应了一个判定测试序列。仅有一层划分的决策树，也称“决策树桩”(decision stump)；决策树学习的目的是为了产生一棵泛化能力强，即处理未见示例能力强
## Python预剪枝的实现流程
### 1. 了解预剪枝的概念
预剪枝是一种在决策树构建过程中，在树的每个节点处估计该节点的分类错误率，如果估计该节点的分类错误率超过阈值，则停止该节点的进一步分裂，直接将该节点作为叶子节点输出。这样可以有效减少决策树的过拟合。
### 2. 导入所需库
在Python中，我们通常使用`scikit-learn`库来构建决策树模型。所以首先，我们需要导入`D
决策树的实现太...繁琐了。
如果只是接受他的原理的话还好说，但是要想用代码去实现比较糟心，目前运用了《机器学习实战》的代码手打了一遍，决定在这里一点点摸索一下该工程。
实例的代码在使用上运用了香农熵，并且都是来处理离散数据的，因此有一些局限性，但是对其进行深层次的解析有利于对于代码的运作，python语言的特点及书写肯定是有帮助的。
我们分别从每个函数开始：计算香农熵def calcShanno
3.1 基本形式给定由d个属性描述的示例，其中 xi 是x在第i个属性上的取值，线性模型就是试图学得一个通过属性的线性组合来进行预测的函数即：向量形式：w和b学得之后，模型即可确定。其中w还可以表示为属性的权重，下面是一个例子：3.2线性回归 线性回归的本质就是学得一个线性模型尽可能的预测未来输出，那么这个线性模型怎么来确定呢，我们在一堆数据点中，一般是寻找一根线使得其穿越尽可
决策树预剪枝：决策树可以分成ID3、C4.5和CART。算法目的：决策树的剪枝是为了简化决策树模型，避免过拟合。剪枝类型：预剪枝、后剪枝预剪枝：在构造决策树的同时进行剪枝。所有决策树的构建方法，都是在无法进一步降低熵的情况下才会停止创建分支的过程，为了避免过拟合，可以设定一个阈值，熵减小的数量小于这个阈值，即使还可以继续降低熵，也停止继续创建分支。但是这种方法实际中的效果并不好。后剪枝是在决策树生
绪论 模型评论与选择 线性模型 决策树 神经网络 支持向量机
转载
2021-08-23 18:31:16
233阅读
老早就想买这本“西瓜书”好好看看关于机器学习的知识了，正直“双11”京东VS天猫，然后在京东上买了。
以前从没有写读书笔记的习惯，所以看了一本忘了一本。。。都说看书是输入，但是只输入知识还不行，还要有输出。推荐购买一本周志华的西瓜书，国内难得的机器学习书籍，良心之作！关键词：学习算法；样例；泛化；归纳；连接主义；符号主义；数据挖掘与机器学习 推荐阅读：学习算法 ；数据挖掘与机器学习 1.1
在树模型建模的过程中的树模型的超参数会影响模型的精度，那么如何调整超参数呢？可以提前限制模型的超参数，也可以在训练模型之后再调整。
原创
2022-09-17 08:53:08
618阅读
剪枝由于悲观错误剪枝PEP (Pessimistic Error Pruning)、代价-复杂度剪枝CCP (Cost-Complexity Pruning)、基于错误剪枝EBP (Error-Based Pruning)、最小错误剪枝MEP (Minimum Error Pruning)都是用于分类模型，故我们用降低错误剪枝REP ( Reduced Error Pruning)方法进行剪枝。它
转载
2023-07-29 22:25:05
142阅读
文章目录性能度量1 错误率与精度2 查准率、查全率与F13 ROC与AUC4 代价敏感错误率与代价曲线[4]性能度量1 错误率与精度错误率是分类错误的样本数占样本总数的比例。精度则是分类正确的样本数占样本总数的比例。精度+错误率=1精度+错误率=1精度+错误率=1错误率与精度都不难理解，我们重点来看下文的性能度量。2 查准率、查全率与F1首先，为什么要用查准率、查全率？西瓜书中有两个例子：（1）挑选西瓜时我们关心“挑出的西瓜中有多少比例是好瓜”,（查准）“所有好瓜中有多少比例被挑了出
原创
2021-06-22 11:13:17
201阅读
问题背景：项目开发测试阶段出现该问题。 复现：开发调试过程中一直没有问题，本地下载excel、Word、pdf 都完美，但是在服务部署到服务器之后，测试环境的chrome就总是下载失败，提示网络错误。 。 这时候追踪问题，本地测试时发现每次下载都会有问题警示：Resource interpreted as Document but transferred with MIME type app
转载
2023-06-07 21:34:43
129阅读
给定n本书，编号为1-n。在初始状态下，书是任意排列的。在每一次操作中，可以抽取其中连续的一段，再把这段插入到其他某个位置。我们的目标状态是把书按照1-n的顺序依次排列。求最少需要多少次操作。输入格式第一行包含整数T，表示共有T组测试数据。每组数据包含两行，第一行为整数n，表示书的数量。第二行为n个整数，表示1-n的一种任意排列。同行数之间用空格隔开。输出格式每组数据输出一个...
原创
2021-07-09 14:13:00
75阅读
解决西瓜书难题的书来了，最近周志华《机器学习》伴侣书《机器学习公式详解》，一站式解决机器学习中的数学难题。机器学习公式详解人工智能领域
原创
2022-05-01 17:01:00
661阅读
参考书籍《动手学深度学习(pytorch版），参考网址为：https://tangshusen.me/Dive-into-DL-PyTorch/#/ 请大家也多多支持这一个很好用的平台~大部分内容为书中内容，也有部分自己实验和添加的内容，如涉及侵权，会进行删除。正文——线性回归一、概念 线性回归输出是一个连续值，因此适用于回归问题。回归问题在实际中很常见，如预测房屋价格、气温、销售额等连续值的问题
文章目录决策树1 什么是决策树2 伪代码决策树1 什么是决策树决策树（dicision tree）是一种基本的分类与回归方法，此处主要讨论分类的决策树。。以一个二分类任务（去或不去）为例：有人给我们介绍新的对象的时候，我们就要一个个特点去判断去或不去。于是这种判断的过程就可以画成一棵树：我们将上面树结构广义化：这就是决策树的结构了，棵决策树包含一个根结点、若干个内部结点和若干个叶结点;叶节点：叶结点对应于决策结果,其他每个结点（根节点和内部节点）则对应于一个属性测试;根节点：对数据集
原创
2021-06-22 11:13:21
330阅读
PCA和线性回归的区别： 左边是线性回归，右边是PCA，PCA算的是投影误差的平方 t-SNE vs PCA至于t-SNE为啥牛， 这里给两个对比图片， 然后我们再回到PCA，以后有机会再扩展！t-SNE vs PCA： 可以看到线性特征表达的局限性 t-SNE 优于 已有非线性特征表达 Isomap, LLE 和 Sammon mapping 依然还记得2004年左右Isomap横空
