机器学习概念：1.有监督学习： 从以标记的训练数据来训练模型。2.无监督学习： 从未标记的训练数据来训练模型。3.泛化能力： 对未知数据的预测能力。4.过拟合： 选择的模型包含参数过多，以至于该模型对于已知数据的预测很好，但对于未知数据预测很差，使得训练误差和测试误差之间差距过大。5.欠拟合： 选择的模型包含参数过少，以至于该模型对于已知数据的预测很差，使得训练误差较大。6.交叉验证： 将训练样本
转载
2024-09-20 20:09:35
49阅读
逻辑回归模型是一个非常经典的算法，其中包含非常多的细节。本文就是总结下我眼中的逻辑回归模型，方便以后有更多的认识后继续修正。一、模型简介Logistic Regression（简称LR）虽然被称为回归，但其实是分类模型，并常用于二分类。LR由于其简单、可并行化、可解释性强深受工业界喜爱，尤其是金融领域。LR模型的本质是：假设数据集服从这个分布，然后用极大似然估计做参数的估计。1.1 Logisti
转载
2024-10-22 08:02:21
79阅读
一、概念CART全称叫Classification and Regression Tree。首先要强调的是CART假设决策树是二叉树，内部结点特征的取值只有“是”和“否”，左分支是取值为“是”的分支，有分支则相反。这样的决策树等价于递归地二分每个特征。二、CART生成决策树的生成就是递归地构建二叉决策树的过程，对回归树用平方误差最小化准则，对分类树用基尼指数最小化准则，进行特征选择，生成二叉树。三
转载
2024-04-21 16:18:21
65阅读
分支语句1.比较运算符1.1 比较运算比较运算是发生在两个同类型数据间的一种操作，比较运算是使用固定的比对规则对两个数据进行比对，如果比较运算式子成立得到结果True,如果不成立，得到结果False1.2 常用比较运算符符号 说明 = = 判断两个操作数的值是否相等，成立为True ! = 判断两个操作数的值是否不相等，成立为True > 判断左操作数是否大于右操作数，成立为True <
转载
2024-04-11 20:53:34
28阅读
学习机器学习的第一个模型是线性回归。除了作为一个简单的理解算法，结合正确的特征，还可以是一个强大的预测模型。在本文中，我们将在Python中构建一个线性回归模型，并应用梯度下降的优化技术来降低成本函数。以下是我们将要讨论的主题：线性回归：模型的解释和概念;梯度下降：关于GD及其变化的解释;代码实现：通过编写Python代码来演示学习的概念;线性回归线性回归是一种基本的预测算法，能够找到两个或多个变
转载
2024-04-27 19:43:29
38阅读
文章目录逻辑回归的损失函数以MLE角度理解交叉熵以信息论角度理解交叉熵信息熵K-L散度(相对熵)交叉熵(Cross Entropy)推导逻辑回归损失对参数的梯度使用逻辑回归实现乳腺癌数据集二分类 逻辑回归的损失函数有两种方式可以推导出二分类交叉熵损失函数，一个是通过极大似然估计法，另一个则是信息熵。以MLE角度理解交叉熵参考之前如何推导多元线性回归的损失函数，我们可以总结一下这个思想：那就是，一
转载
2024-06-10 10:38:09
103阅读
1. 逻辑回归算法描述（是什么？）1.1 逻辑回归的定义可以答作用：用于分类的回归算法，被广泛用于估算一个实例属于某个特定类别的概率。比如：这封电子邮件属于垃圾邮件的概率是什么？某人患病的概率?明天下雨的概率明天下雨的概率如果预估概率超过50%，则模型预测该实例属于该类别（称为正类，标记为“1”），反之，则预测不是；也就是负类，标记为“0”。这样它就成了一个二分类器。逻辑回归处理的常见的时二分类或
转载
2024-03-19 09:03:21
52阅读
随着
IT
行业的快速发展，软件考试逐渐成为衡量人才水平的重要标准之一。软考作为其中最具代表性的考试之一，其含金量一直备受关注。本文将从多个角度分析软考的含金量，并探讨其对企业和个人的意义。
一、软考简介
软考全称为“计算机技术与软件专业技术资格（水平）考试”，是由国家人力资源和社会保障部、工业和信息化部领导下的国家级考试。考试内容涵盖了计算机科学、软件工程、网络技术、信息安全等多个领域，
原创
2023-10-25 15:29:51
65阅读
机器学习的一些概念有监督数据集有标签，包括：分类、回归无监督数据集无标签，包括：聚类泛化能力数据迁移的能力过拟合、欠拟合（方差和偏差以及各自解决办法）含义偏差/方差解决办法欠拟合模型不能很好地拟合数据高偏差（high bias）使用更强的模型过拟合模型过度拟合数据，泛化能力不足高方差（high variance）正则化、dropout交叉验证在训练集中分出一部分，作为测试来测试性能，以调节超参数线
本文主要对回归分析解读,包括一元线性回归,多元线性回归和逻辑回归.1 回归分析“回归”最早由英国生物学家高尔顿在研究孩子身高与其父母身高关系时提出。研究发现，父母个子高，其子代一般也高，但不如父母那么高；父母个子矮，其子女一般也矮，但没有父母那么矮。下一代身高有向中间值回归的趋势，这种趋于中间值的趋势被称为“回归效应”，而他提出的这种研究两个数值变量关系的方法称为回归分析。 回归的意义： 研究
转载
2024-04-01 06:17:23
196阅读
衡量线性回归法的指标：MSE, RMSE和MAE举个栗子：对于简单线性回归，目标是找到a,b 使得尽可能小其实相当于是对训练数据集而言的，即当我们找到a，b后，对于测试数据集而言，理所当然，其衡量标准可以是但问题是，这个衡量标准和m相关。（当10000个样本误差累积是100，而1000个样本误差累积却达到了80，虽然80<100，但我们却不能说第二个模型优于第一个）改进==> 对式子除
以下是我的学习笔记，以及总结，如有错误之处请不吝赐教。本文主要介绍简单的线性回归、逻辑回归先关推倒，以及案例代码。昨天做项目发现K-means都忘了，想想之前很多基础都忘了，于是决定重新开始学一遍ml的基础内容，顺便记录一下，也算是梳理自己的知识体系吧。机器学习：目前包括有监督、无监督、强化学习三个大的方向，昨天说过了，就不详细展开。几个基本概念：数据集，样本（samples）、特征（featur
转载
2024-10-31 19:00:58
245阅读
以下是我的学习笔记，以及总结，如有错误之处请不吝赐教。本文主要介绍简单的线性回归、逻辑回归先关推倒，以及案例代码。昨天做项目发现K-means都忘了，想想之前很多基础都忘了，于是决定重新开始学一遍ml的基础内容，顺便记录一下，也算是梳理自己的知识体系吧。机器学习：目前包括有监督、无监督、强化学习三个大的方向，昨天说过了，就不详细展开。几个基本概念：数据集，样本（samples）、特征（featur
转载
2024-10-31 18:59:06
82阅读
A Survey of Optimization Methods from a Machine Learning Perspective 原文地址：https://arxiv.org/abs/1906.06821 Abstract摘要机器学习发展迅速，在理论上取得了许多突破，并广泛应用于各个领域。优化作为机器学习的重要组成部分。随着数据量的指数增长和模型复杂性的增加，机器学习中的
MAML论文阅读笔记--回归实验1.背景2.算法3.回归实验3.1 问题分析3.2 参数设置3.3 实验结果 1.背景 MAML是元学习领域的一篇经典文章。元学习(Meta-learning)与机器学习算法不同，不是先人为调参，然后在特定训练任务下训练模型，而是希望模型获取一种学会学习调参的能力，使其在新任务的小样本集上快速学习新任务。所以，深度学习模型有哪些需要人为确定的元素(初始化参数、网
转载
2024-08-31 09:48:07
257阅读
SSE(和方差、误差平方和)：The sum of squares due to error MSE(均方差、方差)：Mean squared error RMSE(均方根、标准差)：Root mean squared error R-square(确定系数)：Coefficient of determination Adjusted R-square：Degree-of-freedom adju
转载
2024-05-12 10:53:06
55阅读
交叉验证——（监督）学习器性能评估方法一、思考：交叉验证有什么好值得我们使用的？每个算法模型都需要经过两个阶段：训练和验证。官方文档链接1） 一般情况下的，我们用的方法是：将原始数据集分为 训练数据集 & 测试数据集。优点：是，但仅仅是思路正确。缺点：思路正确，但是方法不够高明。分析：一方面，如果不把原始数据集划分为 训练数据集&测试数据集，而是直接使用，结果会是过拟合、泛化能力极
转载
2024-09-26 07:21:42
57阅读
问题模型选择问题：对于一个学习问题，可以有多种模型选择。比如要拟合一组样本点，可以使用线性回归，也可以用多项式回归。那么使用哪种模型好呢（能够在偏差和方差之间达到平衡最优）？还有一类参数选择问题：如果我们想使用带权值的回归模型，那么怎么选择权重w 公式里的参数τ？形式化定义：假设可选的模型集合是Μ = {M1, M2, … , Md }，比如我们想分类，那么SVM、logistic回归、神经网络等
转载
2024-04-28 22:41:04
49阅读
文章目录什么是逻辑回归算法？可视化曲线python 代码最大似然估计梯度下降法Python代码简单实现（批量梯度下降法）优缺点什么时候用多分类应用场景总结 什么是逻辑回归算法？Logistic 回归是二分类任务的首选方法。它输出一个 0 到 1 之间的离散二值结果。简单来说，它的结果不是 1 就是 0。公式 数学常数 e 的真正含义，可以解释为什么是常数 e , 而不是 以下猜想：什么是 e ?
转载
2024-06-12 21:25:39
139阅读
spark 模型选择与超参调优机器学习可以简单的归纳为 通过数据训练y = f(x) 的过程，因此定义完训练模型之后，就需要考虑如何选择最终我们认为最优的模型。如何选择最优的模型，就是本篇的主要内容：模型验证的方法超参数的选择评估函数的选择模型验证的方法在《统计学习方法》这本书中，曾经讲过模型验证的方法有三种，分别是简单的交叉验证，S折交叉验证，留一交叉验证简单的交叉验证即把全部数据按照比例分割成
转载
2024-06-21 16:34:08
60阅读
