CART模型 ，即Classification And Regression

Trees。它和一般回归分析类似，是用来对变量进行解释和预测的工具，也是数据挖掘中的一种常用算法。如果因变量是连续数据，相对应的分析称为回归树，如果因变量是分类数据，则相应的分析称为分类树。

决策树是一种倒立的树结构，它由内部节点、叶子节点和边组成。其中最上面的一个节点叫根节点。

构造一棵决策树需要一个训练集，一些例子组成，每个例子用一些属性(或特征)和一个类别标记来描述。构造决策树的目的是找出属性和类别间的关系，一旦这种关系找出，就能用它来预测将来未知类别的记录的类别。这种具有预测功能的系统叫决策树分类器。其算法的优点在于:

1)可以生成可以理解的规则。

2)计算量相对来说不是很大。

3)可以处理多种数据类型。

4)决策树可以清晰的显示哪些变量较重要。

下面以一个例子来讲解如何在R语言中建立树模型。为了预测身体的肥胖程度，可以从身体的其它指标得到线索，例如：腰围、臀围、肘宽、膝宽、年龄。

#首先载入所需软件包
library(mboost)
library(rpart)
library(maptree)
#读入样本数据
data('bodyfat')
#建立公式
formular=DEXfat~age+waistcirc+hipcirc+elbowbreadth+kneebreadth
#用rpart命令构建树模型，结果存在fit变量中
fit=rpart(formula,method='avova',data=bodyfat)
#直接调用fit可以看到结果
n= 71
node), split, n, deviance, yval
* denotes
terminal node
1) root 71 8535.98400 30.78282
2) waistcirc< 88.4 40 1315.35800
22.92375
4) hipcirc< 96.25 17
285.91370 18.20765 *
5) hipcirc>=96.25 23
371.86530 26.40957
10)
waistcirc< 80.75 13  117.60710 24.13077
*
11)
waistcirc>=80.75 10   98.99016 29.37200
*
3) waistcirc>=88.4 31 1562.16200
40.92355
6) hipcirc< 109.9 13
136.29600 35.27846 *
7) hipcirc>=109.9 18
712.39870 45.00056 *
#也可以用画图方式将结果表达得更清楚一些
draw.tree(fit)


#建立树模型要权衡两方面问题，一个是要拟合得使分组后的变异较小，另一个是要防止过度拟合，而使模型的误差过大，前者的参数是CP，后者的参数是Xerror。所以要在Xerror最小的情况下，也使CP尽量小。如果认为树模型过于复杂，我们需要对其进行修剪

#首先观察模型的误差等数据

printcp(fit)
Regression tree:
rpart(formula = formula, data = bodyfat)
Variables actually used in tree construction:
[1] hipcirc   waistcirc
Root node error: 8536/71 = 120.23
n= 71
CP nsplit rel error  xerror
xstd
1 0.662895
0   1.00000 1.01364
0.164726
2 0.083583
1   0.33710 0.41348
0.094585
3 0.077036
2   0.25352 0.42767
0.084572
4 0.018190
3   0.17649 0.31964
0.062635
5 0.010000
4   0.15830 0.28924
0.062949
#调用CP(complexity

parameter)与xerror的相关图，一种方法是寻找最小xerror点所对应的CP值，并由此CP值决定树的大小，另一种方法是利用1SE方法，寻找xerror+SE的最小点对应的CP值。

plotcp(fit)
#用prune命令对树模型进行修剪(本例的树模型不复杂，并不需要修剪)
pfit=prune(fit,cp=
fit$cptable[which.min(fit$cptable[,"xerror"]),"CP"])
#模型初步解释：腰围和臀围较大的人，肥胖程度较高，而其中腰围是最主要的因素。
#利用模型预测某个人的肥胖程度
ndata=data.frame(waistcirc=99,hipcirc=110,elbowbreadth=6,kneebreadth=8,age=60)

predict(fit,newdata=ndata)数据分析培训

分类回归树(CART)

概要 本部分介绍 CART,是一种非常重要的机器学习算法.   基本原理   CART 全称为 Classification And Regression Trees,即分类回归树.顾名思义,该算法既 ...

如何在R语言中使用Logistic回归模型

在日常学习或工作中经常会使用线性回归模型对某一事物进行预测,例如预测房价.身高.GDP.学生成绩等,发现这些被预测的变量都属于连续型变量.然而有些情况下,被预测变量可能是二元变量,即成功或失败.流失或 ...

CART(分类回归树)

1.简单介绍 线性回归方法可以有效的拟合所有样本点(局部加权线性回归除外).当数据拥有众多特征并且特征之间关系十分复杂时,构建全局模型的想法一个是困难一个是笨拙.此外,实际中很多问题为非线性的,例如常 ...

机器学习技法-决策树和CART分类回归树构建算法

课程地址:https://class.coursera.org/ntumltwo-002/lecture 重要!重要!重要~ 一.决策树(Decision Tree).口袋(Bagging),自适应增 ...

CART决策树(分类回归树)分析及应用建模

一.CART决策树模型概述(Classification And Regression Trees)   决策树是使用类似于一棵树的结构来表示类的划分,树的构建可以看成是变量(属性)选择的过程,内部节 ...

决策树的剪枝，分类回归树CART

决策树的剪枝 决策树为什么要剪枝?原因就是避免决策树“过拟合”样本.前面的算法生成的决策树非常的详细而庞大,每个属性都被详细地加以考虑,决策树的树叶节点所覆盖的训练样本都是“纯”的.因此用这个决策树来 ...

机器学习之分类回归树&lpar;python实现CART&rpar;

之前有文章介绍过决策树(ID3).简单回顾一下:ID3每次选取最佳特征来分割数据,这个最佳特征的判断原则是通过信息增益来实现的.按照某种特征切分数据后,该特征在以后切分数据集时就不再使用,因此存在切分 ...

连续值的CART(分类回归树)原理和实现

上一篇我们学习和实现了CART(分类回归树),不过主要是针对离散值的分类实现,下面我们来看下连续值的cart分类树如何实现 思考连续值和离散值的不同之处: 二分子树的时候不同:离散值需要求出最优的两个 ...

利用CART算法建立分类回归树

常见的一种决策树算法是ID3,ID3的做法是每次选择当前最佳的特征来分割数据,并按照该特征所有可能取值来切分,也就是说,如果一个特征有四种取值,那么数据将被切分成4份,一旦按某特征切分后,该特征在之后 ...

随机推荐

跟Unity3D学代码优化

今天我们来聊聊如何跟Unity学代码优化,准确地说,是通过学习Unity的IL2CPP技术的优化策略,应用到我们的日常逻辑开发中. 做过Unity开发的同学想必对IL2CPP都很清楚,简单地说,IL2 ...

vijos-1447 开关灯泡-大整数开方算法

描述 一个房间里有n盏灯泡,一开始都是熄着的,有1到n个时刻,每个时刻i,我们会将i的倍数的灯泡改变状态(即原本开着的现将它熄灭,原本熄灭的现将它点亮),问最后有多少盏灯泡是亮着的. 提示 范围:40 ...

HD1160FatMouse&#39;s Speed(最长单调递增子序列)
FatMouse's Speed Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others) ...

&lt&semi;构建之法&gt&semi;第十一章、十二章有感

十一章:软件设计与实现 工作时要懂得平衡进度和质量.我一直有一个困扰:像我们团队这次做 男神女神配 社区交友网,我负责主页的设计及内容模块,有个队友负责网站的注册和登录模块,有个队友负责搜索模块,有个 ...

关于Excel中的需求或者是用例导入到QC中遇到的问题

Excel 中导入用例到QC时,会提示如图所示的错误信息:   解决方案: 我的电脑-->属性->高级-->性能设置-->添加QC程序

精进之路之CAS

CAS (Compare And Swap) 即比较交换, 是一种实现并发算法时常用到的技术,Java并发包中的很多类都使用了CAS技术,本文将深入的介绍CAS的原理. 其算法核心思想如下 执行函数: ...

Python并发目录

Python并发目录 Python-socket网络编程 Python网络编程-IO阻塞与非阻塞及多路复用 Python进程-理论 Python进程-实现 Python进程间通信 Python进程池 ...

数组方法map(映射)，reduce(规约)，foreach(遍历)，filter(过滤)

数组方法map(映射),reduce(规约),foreach(遍历),filter(过滤) map()方法返回一个由原数组中每一个元素调用一个指定方法后返回的新数组 reduce()方法接受一个函数作 ...

【leetcode】344&period; Reverse String

problem 344. Reverse String solution: class Solution { public: void reverseString(vector ...