##决策树 互信息：衡量2个变量是否独立的指标，若独立则联合概率等于概率的乘积，既I(X,Y)=p(x,y)log1=0,不独立则不等于0 条件熵等于熵减互信息信息增益 信息增益率：信息增益除以本身的熵基尼系数评价剪枝随机森林 out of bag 随机森林每一颗树的样本数可以跟总样本数一样，也可以不一样；特征的选择也是随机的 随机森林每棵树的训练样本不一样极限森林：多了一项，分裂条件随机（不是最
决策树、随机森林的笔记
参考链接：https://www.bilibili.com/video/av26086646/?p=8《统计学习方法》一、决策树算法：1.训练阶段（决策树学习），也就是说：怎么样构造出来这棵树？2.剪枝阶段。 问题1：构造决策树，谁当根节点？例：相亲时为啥选年龄作为根节点？ H(X)为事件发生的不确定性。事件X
决策树和随机森林算法简介1-决策树1.1-决策树模型的结构决策树（decision tree）是一种分类与回归方法，本文主要讨论用于分类的决策树，决策树的结构呈树形结构，在分类问题中，其代表基于特征对数据进行分类的过程，通常可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型可读性好并且分类速度快。训练的时候，利用训练数据根据损失函数最小化的原则
文章主要从以下几个方面进行介绍随机森林算法：1.决策树算法。 2.集成学习思想。 3.随机森林算法的形成一、决策树算法1.决策树是什么？决策树是一种基本的分类和回归方法。其主要优点是模型具有可读性。决策树学习主要包括3个步骤：特征选择、决策树的生成、决策树的修剪。决策树学习常有的算法有ID3、C4.5、CART。 它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后
随机森 林是一种集成方法，通过集成多个比较简单的评估器形成累积效果。这 种集成方法的学习效果经常出人意料，往往能超过各个组成部分的总和；也就是说，若干评估器的多数投票（majority vote）的最终效果往 往优于单个评估器投票的效果！1.决策树 决策树采用非常直观的方式对事物进行分类或打标签： 决策树的难点在于如何设计每一步的问题。在实现决策树的机器学习算法中，问题通常因分类边界是与特征轴平行
周五的组会如约而至，讨论了一个比较感兴趣的话题，就是使用SVM和随机森林来训练图像，这样的目的就是在图像特征之间建立内在的联系，这个model的训练，着实需要好好的研究一下，下面是我们需要准备的入门资料：在机器学习中，随机森林由许多的决策树组成，因为这些决策树的形成采用了随机的方法，所以叫做随机森林。随机森林中的决策树之间是没有关联的，当测试数据进入随机森林时，其实就是让每一颗决策树进行分类看看这
1.基于《统计学习方法》和西瓜书 2.全文是关于学习中遇到的问题记录和解决理解记录 3.限于能力，不足之处，希望多多指教 4.本人会将及时学到的以及错误之处不断改正更新重要内容简述：从ID3到C4.5再到CART 在分类树问题中
参考url:https://jakevdp.github.io/PythonDataScienceHandbook/05.08-random-forests.html无参数算法随机森林，是一种集成方法，通过集成多个比较简单的评估器形成累计效果，即若干评估器的多数投票（majority vote）的最终效果往往优于单个评估器投票的效果。1、随机森林的诱因：决策树 随机森林是建立在决策树基础上的
决策树和随机森林原理（Decision Trees and Random Forests）决策树是一种树的数据结构的 if-then语句的体现；随机森林是决策树的组合。（项目学习笔记及代码）一、决策树1、目标数据结构中的树一般包含一个根结点、若干个内部结点和若干个叶结点。而在决策树中：叶子结点对应于决策结果，其他每个结点则对应于一个属性测试划分。 决策树学习的目的即是为了产生一棵泛化能力强，即处理
申明：此文为学习记录过程一：概念 决策树是一种非线性有监督分类模型，随机森林是一种非线性有监督分类模型。线性分类模型比如说逻辑回归，可能会存在不可分问题，但是非线性分类就不存在。决策树是机器学习中最接近人类思考问题的过程的一种算法，通过若干个节点，对特征进行提问并分类（可以是二分类也可以使多分类），直至最后生成叶节点（也就是只剩下一种属性）。&
在 CART 分类回归树的基础之上，我们可以很容易的掌握随机森林算法，它们之间的区别在于，CART 决策树较容易过拟合，而随机森林可以在一定程度上解决该问题。随机森林的主要思想是：使用随机性产生出一系列简单的决策树，并组合它们的预测结果为最终的结果，可谓三个臭皮匠赛过一个诸葛亮，下面我们就来具体了解一下。产生随机森林的具体步骤产生随机森林的步骤大致为三步准备样本产生决策树循环第 1 、2
本文仅为初学者的总结，如有不妥，还请指正。文章参考：Giant决策树概念决策树是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果。持续分类直到样本没有特征可以分割，也就是属于同一类型。决策树特征选择方法每个特征节点位置是很重要的，假设你想挑选一个好瓜，你会优先看它的颜色，因为颜色青绿的瓜80%是个好瓜，确定了好瓜的大方向后，我们再来
树形模型是机器学习中最为常用的模型之一，其同KNN算法一样，也是弱假设型模型。而树形模型里面的决策树是bagging、随机森林以及boosting的基础，因此想要了解随机森林，首先要了解决策树：决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。常见的决策树算法有C4.5、ID3和CART。而一个树形模型经常包含以下定义：根节点：最顶层的分
决策树和随机森林的概念理解：决策树：是构建一个二叉树模型，利用对象的某些特征值，下降分类的范围，直到得到确定的一个类别。理解方法：可以参考之前的ONER算法，那边是用一个特征值，然后根据特征值的区间或者离散点的分布，然后直接IF、ELSE得到类别。决策树的训练和它类似，是用部分特征值和分类结果进行训练，得到一个树状的判断序列，利用序列得到分类结果。实验依然使用sklearn的库实现。scikit-
随机森林森林里有很多树，随机森林里有很多决策树。 随机森林是决策树的升级版，随机指的是树的生长过程，世界上没有两片相同的树叶，随机森林中的树也各不相同，在构建决策树时，我们会从训练数据中有放回的随机选取一部分样本，同样的我们也不会选取数据的全部特征，而是随机选取部分特征进行训练。每棵树使用的样本和特征各不相同，训练的结果自然也不同。为什么要这么做？在训练的最初，我们并不知道哪些是异常样本，也不知道
主要内容：4 集成学习（下）4.1决策树 4.1.1 CART模型（见上讲） 4.1.2 特征选择 4.1.3 树的生成 4.1.4
1. 基本概念学习分类：基于树的算法被认为是最好的，最常用的监督学习方法之一优势：
基于树的算法使预测模型具有较高的准确性，稳定性和易解释性与线性模型不同，它们很好地映射了非线性关系用途解决分类问题（classification：categorical variables ）解决回归问题（regression：continuous variables ）缩略语缩写描述含义MSEMean Sq
随机森林和adaboost都是集成学习比较经典的模型随机森林和adaboost所使用的思想不同随机森林运用bagging的思想，相当于并行，利用随机的方式将许多决策树组合成一个森林，每个决策树在分类的时候决定测试样本的最终类别adaboost运用boosting的思想，是一种迭代算法，针对同一个训练集训练不同的分类器并加权累加到总模型中，将不同的学习器线性组合得到最终的强学习器学习器训练使用的样本
1. 随机森林的概念Q：什么是随机森林？ A：随机森林是一个包含多个决策树的分类器，由很多决策树构成，不同的决策树之间没有关联。当我们进行分类任务时，森林中的每一棵决策树都会分别对样本进行判断和分类，每个决策树会得到一个自己的分类结果，决策树的分类结果中哪一个分类最多，那么随机森林就会把这个结果当做最终的结果。 （即，少树服从多树）。看起来是不是很简单呢？但是这里有一个问题，那就是随机森林中有多个
机器学习之决策树、随机森林1 决策树2 特征选择3 信息增益4 代码实现决策树算法5 决策树优点缺点分析6 随机森林7 代码实现随机森林算法8 随机森林总结 前言：主要介绍机器学习中的决策树和随机森林，通过举例用代码实现决策树和随机森林的算法。 1 决策树决策树是一种基本的分类方法，当然也可以用于回归。我们一般只讨论用于分类的决策树。决策树模型呈树形结构。在分类问题中，表示基于特征对实例进行分
