文章目录一、SVM（支持向量机）二、决策树（Decision Tree）三、朴素贝叶斯（Decision Tree）四、K- 最近邻算法（KNN）五、K- 均值（K-means）六、随机森林（RandomForest）七、自适应增强算法（Adaboost） 一、SVM（支持向量机）SVM是一种用于分类问题的监督算法。支持向量机试图在数据点之间绘制两条线，它们之间的边距最大。最优超平面具有最大的边
转载
2024-03-17 14:21:03
114阅读
训练集有多大？数据集小：可选择高偏差/低方差的分类器。（低偏差/高方差的分类器（LR）更加容易过拟合）数据集小：选择低偏差/高方差的分类器。这样可以训练出更加准确的模型。Logistic回归(Logistic Regression, LR)1、使用LR可以快速搭建出一个模型来（也不需要考虑样本是否相关），如果模型效果不怎么样，也可以得到一个基准。2、如果想要通过调节概率阈值来分类的话，使用LR更加
转载
2024-04-05 12:46:58
189阅读
决策树，听名字就知道很简单，所以这个算法我也是非常简单的过一下构建决策树 Decision Trees下图的样本，通过决策树，要进行三次分割代码是十分简单#导入模块
from sklearn import tree
X = [[0, 0], [1, 1]]
Y = [0, 1]
#创建分类器，进行拟合
clf = tree.DecisionTreeClassifier()
clf = c
转载
2024-05-05 13:30:24
0阅读
一、LR LR,DT,SVM都有自身的特性，首先来看一下LR，工业界最受青睐的机器学习算法，训练、预测的高效性能以及算法容易实现使其能轻松适应工业界的需求。LR还有个非常方便实用的额外功能就是它并不会给出离散的分类结果，而是给出该样本属于各个类别的概率（多分类的LR就是softmax）,可以尝试不同
转载
2019-02-26 19:35:00
177阅读
2评论
决策树与SVM类似，决策树在机器学习算法中是一个功能非常全面的算法，它可以执行分类与回归任务，甚至是多输出任务。决策树的算法非常强大，即使是一些复杂的问题，也可以良好地拟合复杂数据集。决策树同时也是随机森林的基础组件，随机森林在当前是最强大的机器学习算法之一。在这章我们会先讨论如何使用决策树训练、可视化、以及做预测。然后我们会使用sk-learn过一遍CART训练算法。接着我们会讨论如何正则化树，
转载
2023-11-23 22:58:01
56阅读
决策树： 类似二叉树 对于一堆数据进行层层分类判断 为监督学习 （递归过程）根据表数据设置每个节点阈值进行层层分类ID3：有信息熵决定节点。每个节点熵值最小（即判断最准确） 分类过细 容易过拟合C4.5： ID3除以信息增益（越细越大）CART：分类回归树，使用GINI指数（总体内包含的类别越杂乱越大），选取最小的方案。 回归（分类到每一个节点只有一个类别时停止）。同样会过拟合均可采用交叉验证法选
转载
2024-03-21 09:44:12
38阅读
周五的组会如约而至，讨论了一个比较感兴趣的话题，就是使用SVM和随机森林来训练图像，这样的目的就是在图像特征之间建立内在的联系，这个model的训练，着实需要好好的研究一下，下面是我们需要准备的入门资料：在机器学习中，随机森林由许多的决策树组成，因为这些决策树的形成采用了随机的方法，所以叫做随机森林。随机森林中的决策树之间是没有关联的，当测试数据进入随机森林时，其实就是让每一颗决策树进行分类看看这
转载
2024-05-13 14:49:43
36阅读
随机森 林是一种集成方法，通过集成多个比较简单的评估器形成累积效果。这 种集成方法的学习效果经常出人意料，往往能超过各个组成部分的总和；也就是说，若干评估器的多数投票（majority vote）的最终效果往 往优于单个评估器投票的效果！1.决策树 决策树采用非常直观的方式对事物进行分类或打标签： 决策树的难点在于如何设计每一步的问题。在实现决策树的机器学习算法中，问题通常因分类边界是与特征轴平行
转载
2024-03-16 15:17:24
41阅读
参考url:https://jakevdp.github.io/PythonDataScienceHandbook/05.08-random-forests.html无参数算法随机森林，是一种集成方法，通过集成多个比较简单的评估器形成累计效果，即若干评估器的多数投票（majority vote）的最终效果往往优于单个评估器投票的效果。1、随机森林的诱因：决策树 随机森林是建立在决策树基础上的
转载
2024-03-01 13:53:49
60阅读
ML之SVM：随机产生100个点，建立SVM模型，找出超平面方程目录实现结果代码实例实现结果代码实例import numpy as npimport pylab as pl from sklearn import svmX = np.r_[np.random.randn(100, 2) - [2, 2], np....
原创
2021-06-15 20:46:43
154阅读
1、决策树 适用条件：数据不同类边界是非线性的，并且通过不断将特征空间切分为矩阵来模拟。特征之间有一定的相关性。特征取值的数目应该差不多，因为信息增益偏向于更多数值的特征。 优点：1.直观的决策规则；2.可以处理非线性特征；3.考虑了变量之间的相互作用。 缺点：1.容易过拟合（随机森林、剪枝）；2.处理缺失数据时的困难；3、数据集中属性间的相关性。2、SVM 适用条件：特征空间大，可以处理
转载
2024-02-29 07:04:47
175阅读
ML之SVM：随机产生100个点，建立SVM模型，找出超平面方程目录实现结果代码实例实现结果代码实例import numpy as npimport pylab as pl from sklearn import svmX = np.r_[np.random.randn(100, 2) - [2, 2], np.random.randn(100, 2) + [2, 2]] Y =
原创
2022-04-22 14:42:49
96阅读
决策树与随机森林
下面将介绍另一种强大的算法——无 参数算法随机森林。随机森林是一种集成方法，通过集成多个比较简单的评估器形成累积 效果。这种集成方法的学习效果经常出人意料，往往能超过各个组成部分的总和；也就是 说，若干评估器的多数投票（majority vote）的最终效果往往优于单个评估器投票的效果！ 后面将通过示例来演示，首先还是导入标准的程
转载
2024-04-05 00:02:08
44阅读
一. 决策树1. 决策树：决策树算法借助于树的分支结构实现分类，决策树在选择分裂点的时候，总是选择最好的属性作为分类属性，即让每个分支的记录的类别尽可能纯。常用的属性选择方法有信息增益（Information Gain），增益比例（gain ratio），基尼指数（Gini index）。其基本思路是不断选取产生信息增益最大的属性来划分样例集和，构造决策树。信息增益定义为按某种属性分裂后，结点与其
转载
2024-03-25 12:04:20
196阅读
想不想知道是什么 决策树(Decision Tree)是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。决策树是一种基本的分类和回归方法，学习通常包含三个步骤：特征选择、决策树的生成和决策树的剪枝。在机器学习中，决策树是一个预测模型，
转载
2024-05-21 14:16:21
53阅读
文章目录一、决策曲线分析概念1. 阈值概率2. 净获益二、matplotlib实现1. 计算模型带来的净获益2. 计算treat all策略带来的净获益3. 绘制决策曲线三、完整代码四、拓展1. bootstrapping法校正净获益2. k折交叉验证法校正净获益3. 计算净获益的置信区间五、更新 一、决策曲线分析概念预测模型（predictive models）被广泛地应用于诊断（diagno
转载
2023-10-16 03:30:03
297阅读
这学期有一门运筹学，讲的两大块儿：线性优化和非线性优化问题。在非线性优化问题这里涉及到拉格朗日乘子法，经常要算一些非常变态的线性方程，于是我就想用python求解线性方程。查阅资料的过程中找到了一个极其简单的解决方式，也学到了不少东西。先把代码给出。import numpy as np
# A = np.mat('1 2 3;2 -1 1;3 0 -1')
A = np.array([[1, 2,
转载
2023-08-31 21:58:44
108阅读
学习目标会用决策树算法、SVM算法和神经网络对数据进行分类会对模型进行校验评估pwd=pfcs 提取码:pfcs。
Sympy是python中非常强大的符号运算库，可以以书写习惯表示数学表达式。下面介绍用Sympy求方程数值解的方法。下面代码全部在from sympy import *
init_printing(use_unicode=True) # 按书写习惯输出下运行。数学表达式的输入首先声明符号：x = symbols('x')即计算机中的变量x代表数学表达式中的x。在后文输出中所有的x会显示为x。如果
转载
2022-09-05 23:58:00
467阅读
学会了 Python 基础知识，想进阶一下，那就来点算法吧！毕竟编程语言只是工具，结构算法才是灵魂。那新手如何入门 Python 算法呢？几位印度小哥在 GitHub 上建了一个各种 Python 算法的新手入门大全。从原理到代码，全都给你交代清楚了。为了让新手更加直观的理解，有的部分还配了动图。https://github.com/TheAlgorithms/Python这个项目主要包括两部分内
转载
2023-10-13 13:38:33
3阅读
