注：大部分参考《机器学习实战》,有空再来加上注释 决策树任务总结：有n条训练数据，每一条数据格式为[属性1，属性2，…，属性k，结果i]，即数据为n*(k+1)的矩阵。 根据这n条数据生成一颗决策树，当来一条新数据时，能够根据k个属性，代入决策树预测出结果。 决策树是树状，叶子节点是结果，非叶子节点是决策节点，每一个决策节点是对某个属性的判断。 而选择哪一个属性作为当前划分属性，则是比较每
转载
2023-06-21 09:41:41
260阅读
# -*- coding: utf-8 -*-
#导入数据
import pandas as pd
data = pd.read_csv(r'E:\Python\machine learning\own\decision_tree\test.csv')
X = data.ix[:,0:4].values
y = data.ix[:,4].values
#设置待选的参数
from
转载
2023-06-27 11:10:42
194阅读
决策树算法1 概述2 算法特点3 算法原理4 构造决策树4.1 决策树的生成算法(1)熵(2)样本集合D对特征A的信息增益(ID3)(3)样本集合D对特征A的信息增益比(C4.5)(4)样本集合D的基尼指数(CART)4.2 决策树的剪枝5 python实现 1 概述 决策树是一种基本的分类与回归方法。这里主要讨论用于分类的决策树。2 算法特点优点：计算复杂度不高，输出结果易于理解，对中间值的
转载
2023-08-10 13:29:02
74阅读
一、概述：1、信息熵： 公式：H[x] = -∑p(x)log2p(x) 不确定性越大，信息熵越大2、决策树评价： 优点：小规模数据集有效 缺点：处理连续变量不好；类别较多时，错误增加的比较快；不能处理大量数据二、决策树生成算法：1、ID3算法： 选择最大化信息增益来对结点进行划分。缺点：偏向于具有大量值的属性，在训练集中，某个属性所取的不同值的个数越多，那么越有可能拿它来作为分裂属性。 比如一个
转载
2023-09-20 11:12:12
64阅读
Python相关函数： extend（）。在原矩阵的基础上进行扩展。比如[2,1,1].extend([1,1])=[2,1,1,1,1].决策树算法：它是一种典型的分类算法，将样本数据按照分类因素构造决策树，当对新数据进行判断时，将其按照决策树，逐渐选择分支，最终确认新数据的分类。比如，将生物进行分类：先按照是否是动物分为动物类及植物类，然后对动物类按照生活环境分为陆生、水生、两栖类，以此
转载
2023-10-25 21:55:30
43阅读
DecisionTreeRegressor 树模型参数:1.criterion gini(基尼系数) or entropy(信息熵) 2.splitter best or random 前者是在所有特征中找最好的切分点 后者是在部分特征中（数据量大的时候）3.max_features None（所有），log2，sqrt，N 特征小于50的时候一般使用所有的4.max_depth 数
转载
2024-06-21 18:21:21
52阅读
一.部分概念：决策树：为了对新事例进行分类。决策树学习的目的:为了获得泛化能力强的决策树。决策树包括根结点，内部结点，叶结点：1）根结点：包涵样本全集。2）内部结点：对应于一个测试属性。3）叶结点：对应于测试结果。比如下图中的色泽就是根结点，里面矩形框的是内部结点，椭圆就是叶结点即我们最终的结果。二.决策树学习基本算法： 输入：训练集D={(x1，y1),(x2,y2),...};属性集{a1,a
转载
2024-06-27 10:44:30
171阅读
使用sklearn中自带的决策树方法简单代码 如下：from sklearn import tree
mode = tree.DecisionTreeClassifier(criterion='gini')
mode.fit(X,Y)
y_test = mode.predict(x_test) 其中对于函数 tree.DecisionTreeClassifier()中的
转载
2024-05-30 11:49:31
0阅读
在上一篇博文Python数据分析（8）----用python实现数据分层抽样中，实现了实验数据的抽取，那么在本文中，将用上述抽取到的数据进行实验，也就是用决策树进行分类。 在讲解实际的决策树分类之前，需要介绍一下决策树分类的sklearn中决策树模型参数释义：'''
scikit-learn中有两类决策树，它们均采用优化的CART决策树算法。
（1）回归决策树：DecisionTreeRegres
转载
2024-02-19 16:56:01
53阅读
python-机器学习-决策树算法 这属于用python学习机器学习系列的第二篇 代码如下：import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib as mpl
from sklearn import preprocessing
import re
from collectio
转载
2023-08-21 22:55:58
91阅读
Matplotlib优势：Matlab的语法、python语言、latex的画图质量（还可以使用内嵌的latex引擎绘制的数学公式） 本节课接着上一节课，来可视化决策树，用Matplotlib注解绘制树形图1 Matplotlib 注解Matplotlib提供了一个注解工具：annotations，可以在数据图形上添加文本工具。 Matplotlib实际上是一套面向对象的绘图库，它所绘制的图表
转载
2023-08-15 15:31:24
247阅读
决策树决策树在周志华的西瓜书里面已经介绍的很详细了(西瓜书P73-P79)，那也是我看过讲的最清楚的决策树讲解了，我这里就不献丑了，这篇文章主要是分享决策树的代码。在西瓜书中介绍了三种决策树，分别为ID3,C4.5和CART三种决策树，三种树出了分裂的计算方法不一样之外，其余的都一样，大家可以多看看书，如果有什么不清楚的可以看看我的代码，决策树的代码算是很简单的了，我有朋友面试的时候就被要求写决策
转载
2023-08-09 14:44:43
271阅读
决策树(Decision Tree)是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据中总结出决策规则，并用树状图的结构来呈现这些规则，以解决分类和回归问题。决策树尤其在以数模型为核心的各种集成算法中表现突出。开放平台：Jupyter lab根据菜菜的sklearn课堂实效生成一棵决策树。三行代码解决问题。from sklearn import tree #导入需要的模块
clf =
转载
2023-07-25 14:16:12
178阅读
决策树 算法优缺点： 优点：计算复杂度不高，输出结果易于理解，对中间值缺失不敏感，可以处理不相关的特征数据 缺点：可能会产生过度匹配的问题 适用数据类型：数值型和标称型 算法思想： 1.决策树构造的整体思想： 决策树说白了就好像是if-else结构一样，它的结果就是你要生成这个一个可以从根开始不断判断选择到叶子节点的树，但是呢这里的if-else必然不会是让我们认为去设置的，我们要做的是提供一种方
转载
2023-06-28 15:18:00
231阅读
sklearn决策树参数表示决策树中有参数如下：DecisionTreeClassifier(criterion="gini"
, splitter="best"
, max_depth=None
, min_samples_split=2
, min
转载
2023-11-25 20:22:58
176阅读
决策树参数如下：class sklearn.tree.DecisionTreeClassifier(*, criterion='gini', splitter='best', max_depth=None, min_samples_split=2, min_samples_leaf=1,
min_weight_fraction_leaf=0.0, max_features=None, rando
转载
2023-07-02 22:25:16
111阅读
首先，树模型参数有：1. criterion gini or entopy
2. splitter best or random 前者是在所有特征中找到最好切分点，后者是在部分特征中(数据量比较大时）
3. max_features None(所有) log2,sqrt,N特征小于50时一般使用所有特征
4. max_depth 数据少或特征少的时候可以不管这个值，如果模型样本量、特征多的情况下，
转载
2023-08-29 19:05:09
198阅读
Python实现一
在这里我们先调用sklearn算法包中的接口，看一下算法的效果。
实验数据（可能你并不陌生~~~）：
1.5 50 thin
1.5 60 fat
1.6 40 thin
1.6 60 fat
1.7 60 thin
1.7 80 fat
1.8 60 thin
1.8 90 fat
1.9 70 thin
1.9 80 fa
转载
2024-03-19 00:08:59
26阅读
1. 决策树决策树就像程序的if-else结构，是用于分割数据的一种分类方法。from sklearn.tree import DecisionTreeClassifier对于复杂的预测问题，通过建立树模型产生分支节点，被划分成两个二叉树或多个多叉树较为简单的子集，从结构上划分为不同的子问题。将依规则分割数据集的过程不断递归下去。随着树的深度不断增加，分支节点的子集越来越小，所需要提的问题数也逐渐
转载
2023-08-10 12:20:53
102阅读
机器学习——决策树模型：Python实现1 决策树模型的代码实现1.1 分类决策树模型（DecisionTreeClassifier）1.2 回归决策树模型（DecisionTreeRegressor）2 案例实战：员工离职预测模型搭建2.1 模型搭建2.2 模型预测及评估2.2.1 直接预测是否离职2.2.2 预测不离职&离职概率2.2.3 模型预测及评估2.2.4 特征重要性评估3
转载
2023-06-20 21:24:13
205阅读
