机器学习笔记（三）决策树 - 分类与回归一.简介二.决策树-分类1.分类过程2.训练过程（1）递归分裂（2）最佳分裂及分裂条件（3）叶子节点的标签（4）终止分裂三.决策树-回归1.与分类的差异2.最佳分裂3.叶子节点的标签值四.手写决策树1. 数据集介绍2. 实现过程（1）加载库（2）决策树主体——节点（3）建立分类与回归树（4）分类测试（5）回归测试 本文将介绍决策树的实现，以及完成分类与回归
转载
2024-10-17 08:12:02
34阅读
参考：https://github.com/apachecn/vt-cs4624-pyml-zh/blob/master/docs/12.md逻辑回归 概念：一种二分类方法。目的是将输入映射到sigmoid函数上，进行二分类。 原理： &
转载
2024-04-14 09:29:04
113阅读
最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum a posteriori estimation, 简称MAP）是很常用的两种参数估计方法，如果不理解这两种方法的思路，很容易弄混它们。下文将详细说明MLE和MAP的思路与区别。但别急，我们先从概率和统计的区别讲起。概率 与 统计 的区别概率（probabilty）和统计（st
转载
2024-05-14 14:42:29
39阅读
一 综述 由于逻辑回归和朴素贝叶斯分类器都采用了极大似然法进行参数估计，所以它们会被经常用来对比。(另一对经常做对比的是逻辑回归和SVM，因为它们都是通过建立一个超平面来实现分类的)本文主要介绍这两种分类器的相同点和不同点。二.两者的不同点1.两者比较明显的不同之处在于，逻辑回归属于判别式模型，而朴素贝叶斯属于生成式模型。具体来说，两者的目标虽然都是最大化后验概率，但是逻辑回归是直接对后验概率P
转载
2024-06-14 10:10:29
194阅读
贝叶斯回归是一种统计方法，它利用贝叶斯定理来更新对回归参数的估计。这种方法不仅考虑了数据的不确定性，还考虑了模型参数的不确定性，为预测提供了一个更加全面的框架。在本文中，我们将深入探讨贝叶斯回归的基本概念、如何实现它以及它与传统回归方法之间的区别。贝叶斯回归的基本原理贝叶斯回归基于贝叶斯定理，这是一种计算条件概率的方法。在回归分析的背景下，条件概率用于表示在给定数据D的情况下，模型参数θ的概率。贝
转载
2024-07-08 10:14:21
87阅读
朴素贝叶斯 全概率公式： 例子参考这里：优缺点优点： (1） 算法逻辑简单,易于实现（算法思路很简单，只要使用贝叶斯公式转化即可！） （2）分类过程中时空开销小（假设特征相互独立，只会涉及到二维存储） 缺点： 朴素贝叶斯假设属性之间相互独立，这种假设在实际过程中往往是不成立的。在属性之间相关性越大，分类误差也就越大。类型高斯分布型：先验为高斯分布（正态分布）的朴素贝叶斯，假设每个标签的数据都服从简
转载
2024-08-11 08:24:20
138阅读
1.1.9. 贝叶斯回归
可以在估计过程中使用贝叶斯回归技术包含正则化参数：正则化参数不是硬编码设置的而是手动调节适合数据的值
可以通过在模型的超参数上引入 uninformative priors
`Ridge Regression`_ 中 使用的正则化项等价于在一个参数为 且精度为 的高斯先验下寻找 一个最大的后验的解。而且并不是手动设置 lam
1. 决策树1.1 简单介绍树模型：决策树：从根节点开始一步步走到叶子节点（决策）所有的数据最终都会落到叶子节点，既可以做分类也可以做回归回归树：就是用树模型做回归问题，每一片叶子都输出一个预测值。预测值一般是该片叶子所含训练集元素输出的均值树的组成根节点：第一个选择点非叶子节点与分支：中间过程叶子节点：最终的决策结果决策树的训练与测试训练阶段：从给定的训练集构造出来一棵树测试阶段：根据构造出来的
转载
2024-05-05 12:32:52
98阅读
文章目录1.线性回归1.1 背景1.2 思维导图1.3 贝叶斯估计与最小二乘法的区别2. 贝叶斯方法2.1 inference 和 prediction2.2 inference2.2.1 求解 P(W|data)的参数2.2.2 inference 结论2.3 Prediction2.3.1 模型2.3.2 Prediction 结论3. 综述思路总结3.1 背景3.2 Inference3.
转载
2024-05-15 14:28:44
69阅读
简介贝叶斯网络(Bayesian network)，又称信念网络(belief network)或是有向无环图模型(directed acyclic graphical model)，是一种概率图型模型，借由有向无环图(directed acyclic graphs, or DAGs )中得知一组随
转载
2024-08-23 07:00:22
57阅读
代码地址：https://github.com/ChengJiacheng/bayesian-analysis/blob/master/LR.py线性回归是统计学习中的常见问题，即求解线性模型y=α+βx中的参数α、β。通常的做法是最小二乘法（最小均方误差法），将参数估计问题（the problem of estimating α and β）转化成了一个最优化问题（an optimization
转载
2023-11-15 15:21:01
135阅读
概述概率在现代机器学习模型中起着重要的作用。然而我们会发现，使用概率分布的图形表示进行分析很有好处。这种概率分布的图形表示被称为概率图模型（probabilistic graphical models）。概率模型的这种图形表示有如下性质：它们提供了一种简单的方式将概率模型的结构可视化，可以用于设计新的模型。通过观察图形，我们可以更深刻地认识模型的性质，如条件独立性。在复杂模型中，复杂的计算可以表示
转载
2023-10-15 08:55:19
282阅读
贝叶斯岭回归主动相关决策理论 - ARD贝叶斯回归可以用于在预估阶段的参数正则化: 正则化参数的选择不是通过人为的
原创
2022-11-02 09:56:50
601阅读
一， 回归大家庭1. 线性回归1.1 线性回归的概念：线性回归就是利用线性回归方程的最小二乘函数对一个或多个自变量和因变量之间的关系进行建模的方法，通俗的说就是通过大量样本的训练，通过有监督的学习找到一个X到Y的映射关系，利用该关系对未知数据进行预测，经常用于房价预测等方面，之所以把其分类到回归问题是因为我们所预测的Y值是连续值。1.2 线性回归的数学形式表达n 为 样本总数 X 为 样本特征 Y
转载
2024-03-15 05:44:49
95阅读
作者：chen_h 我们都知道学习机器学习时学到的第一个模型就是线性回归。这是一个非常简单，直观和激发我们深入到机器学习的模型。线性回归可以在几个观点中直观的解释，例如：几何和频率统计。从频率统计的角度来看，通常应该会谈论到贝叶斯。因此从这篇文章中，我们将从贝叶斯的角度来简单分析一下线性规划。线性回归：回顾回想一下，在线性回归中，我们希望将输入映射为实数，即 线性回归也是分为好几种的，这取决于它们
转载
2024-03-12 11:15:10
199阅读
Bayesian Estimation补充：一个例子看懂最大后验（使用Hit or Miss代价函数的贝叶斯估计）和极大似然的区别小明今天没来上学，三个可能的Hypothesis（θ）：小明今天生病了 / 美国总统特朗普会见小明 / 地球遭受陨石撞击用极大似然（MLE）估计出来的θ_hat(对θ的估计)是“地球遭受陨石撞击”，因为Likelihood
转载
2024-04-25 10:39:14
43阅读
这一节主要讲一元线性回归模型问题：利用给定的数据建立 y 与 x 之间的线性模型 1. 构造出数据集先导入相应的一系列库%matplotlib inline
import pymc3 as pm
import numpy as np
import pandas as pd
import scipy.stats as stats
import matplotlib.pyplot as plt
imp
转载
2023-10-28 17:02:17
272阅读
目录1. 言论过滤器1.1 项目描述1.2 朴素贝叶斯 工作原理:1.2.1 词条向量1.3 开发流程：1.4 代码实现1.4.1 创建样本1.4.2 构建词汇表，用于建立词集向量1.4.3 构建词集向量1.4.4 构建训练函数：求解相关条件概率，先验概率1.4.5 分类测试函数：返回概率大的分类结果1.4.6 main()函数1.4.7 运行结果1.4.8 存在问题1.5 平滑处理：三模型之一
转载
2024-07-08 10:10:12
48阅读
根据模型的数学原理进行简单的代码自我复现以及使用测试，仅作自我学习用。模型原理此处不作过多赘述，仅罗列自己将要使用到的部分公式。如文中或代码有错误或是不足之处，还望能不吝指正。代码有很大一部分参考了利用马尔可夫链蒙特卡洛（MCMC）进行贝叶斯线性回归和非线性回归的python代码（不调包）_贝叶斯非线性回归的内容，因此本文仅做自我学习的一个笔记。贝叶斯派视角MCMC采样class MCMC_gau
转载
2024-05-21 13:08:07
113阅读
这篇博客是《web安全机器学习入门》DGA域名检测朴素贝叶斯的代码进行复现与解释。实验步骤如下1.数据搜集和数据清洗 2.特征化 3.训练样本 4.效果验证数据搜集和数据清洗 返回如下结果 load_dga特征化、训练与验证 使用三折交叉验证法，输出结果 命中率还不错率还不错想深入了解三折交叉验证法得话，看我另一篇Blog其中，对某些代码与函数解释初始化变量y1,y2,y3 concatenate
转载
2024-04-12 20:24:40
64阅读
