1、对数据点进行拟合就是回归。利用logistics回归分类的主要思想：根据现有数据对分类边界线建立回归公式，以此进行分类。为了实现回归分类器，可以在每个特征上都乘以一个回归系数，然后把所有的结果值相加，将这个总和带入sigmoid函数中，进而得到一个范围在0-1之间的数值。大于0.5的数据被分为1类，小于0.5分为0类。因此，logistics回归也可以看成是一种概率估计。目前，问题转化为如何求
转载
2024-04-08 08:14:16
106阅读
线性回归（Linear Regression） 给定一些数据，{（x1，y1），（x2，y2）…（xn，yn） }，x的值来预测y的值，通常地，y的值是连续的就是回归问题，y的值是离散的就叫分类问题。 高尔顿的发现，身高的例子就是回归的典型模型。 线性回归可以对样本是线性的，也可以对样本是非线性的，
翻译
2018-07-25 16:03:00
289阅读
2评论
线性回归虽然是机器学习中，可以说是最简单的一个模型了，理他最基本的形式通常来说确实比较容易，但是其实如果扩展开来，其实还有很多了解的。线性回归，局部加权线性回归，lasso回归，岭回归，SMO算法，logistics回归(逻辑回归)，softmax回归等等。更进一步，KL散度，协方差矩阵，相关系数，置信度，对比散度等等。线性回归对于最简单的线性回归，我认为就是一个单层的，没有激活函数的全连接神经网
转载
2024-03-19 06:58:56
163阅读
书接上文。
不愿露名的笨马：【机器学习-回归】梯度下降(SGD/BGD/MBGD)zhuanlan.zhihu.com
这一节我们主要考虑矩阵形式。考虑BGD的情形。BGD情形下，全体样本损失函数： 进一步，有： 为求其最小值，应有偏导数为0： 化简，即有： 注：不会矩阵求导的萌新可以点开这个链接： 到这里我们发现，模型的
一、线性回归1.概述：什么是回归问题：对于一组训练集（输入and对应的输出），通过回归算法拟合出一条直线（or曲线）通过该曲线可以有效预测出未知数据对应的输出。例如下图： 2.具体方法：共m个数据，每个数据n个特征 ①随机形成一条直线（or曲线，以直线举例） ②对于每一个训练值，求
转载
2024-05-07 20:11:27
232阅读
一：Bounding-box regression回归1.问题理解(为什么要做 Bounding-box regression？ )如图 1 所示， 绿色的框为飞机的 Ground Truth, 红色的框是 Selective Search 提取的 Region Proposal。 那么即便红色的框被分类器识别为飞机，但是由于红色的框定位不准(IoU<0.5)， 那么这张图相当于没有正确的检
转载
2024-07-28 08:44:43
110阅读
一、均值回归理论 均值回归：股票价格无论高于或低于价值中枢(或均值)都会以很高的概率向价值中枢回归的趋势。何时会发生均值回归，属于“随机漫步”范畴。均线为中心。即当标的价格由于波动而偏离移动的均线时，它将调整并重新归于均线。 偏离程度：(MA-P)/MA1、均值回归原理 均值回归法则：万物最终都将回归于其长期的均值。 根据这个理论，一种上涨或者下跌的趋势不管其延续的时间多长都不能永远持续下
转载
2024-04-29 21:31:16
36阅读
摘要： 线性回归是众所周知的非常基本的算法，但也存在很多不足。为了是算法模型能够具有更好的泛化能够，不至于模型过拟合，当前研究就传统的线性回归算法的基础上增加正则项，添加正则就是LASSO回归，添加正则就是岭回归，本文通过对这几个算法进行比较来说明各自的特点。关键字： 线性回归，岭回归，LASSO回归。前言线性回归算法是机器学习算法中的一个入门算法，简单容易理解，但是传统的线性回归算法有很多缺点，
转载
2024-05-02 16:58:49
153阅读
说明: 线性回归和Logistic回归他们两个解决的并不是一类问题,名字的话,的确很容易让人误导,这两者的区别: 线性回归是用来解决回归问题,而Logistic回归是用来解决二分类问题的,一个是回归,一个是分类, 这两大类型也是机器学习主要解决的,回归问题可以理解为一群连续输出的点,找到一条线或者曲线来预测薪资,房价;分类问题则是输出为有限的离散数据,比如将医疗数据分为是否患上了肿瘤, 由此可见两
转载
2024-03-20 10:53:52
118阅读
Kaggle 网站（https://www.kaggle.com/）成立于 2010 年，是当下最流行的进行数据发掘和预测模型竞赛的在线平台。 与 Kaggle 合作的公司可以在网站上提出一个问题或者目标，同时提供相关数据，来自世界各地的计算机科学家、统计学家和建模爱好者， 将受领任务，通过比较模型的某些性能参数，角逐出优胜者。 通过大量的比赛，一系列优秀的数据挖掘模型脱颖而出，受到广大建模者的认
转载
2024-02-29 09:37:01
176阅读
表面理解的线性对于给定的一组输入值x和输出值y，我们假定其关系为线性的，就会得出： y = kx+b，即我们在大学前接触到的最基本的线性方程，只要我们求出k和b来，就可以求出整条直线上的点，这就是很多人认为的线性： 简单来说很多人认为：线性回归模型假设输入数据和预测结果遵循一条直线的关系但是，这种理解是一叶障目。线性的含义线性回归模型是：利用线性函数对一个或多个自变量 （x 或 (x1,x2,…x
转载
2024-02-27 21:34:33
237阅读
回归问题 回归分析用于预测输入量变（自变量）和输出变量（因变量）之间的关系，特别是当输入变量的值发生变化时，输出变量值随之发生变化。只管来说回归问题等价于函数拟合，选择一条函数曲线使其很好的拟合已知数据且很好的预测未知数据。 回归分析根据自变量个数分为【一元回归分析与多元回归分析】，根据自变量与因变量关系分为【线性回归分析与非线性回归分析】，根据因变量个数分为【简单回归分析与多重回归分析】1.线性
转载
2024-07-06 04:59:34
63阅读
前言AdaBost算法是Boosting族算法最著名的代表。这一族算法的工作机制也是很类似的：先从初始训练集训练处一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续收到更多关注，然后基于调整之后的的样本分布来训练下一个基学习器；日此往复，直至基学习器数目达到事先指定的值T，最终将这T个基学习器进行加权组合。 由于这里重点介绍的是AdsBoost算法，接
机器学习之线性回归遇到的问题 问题过拟合 和欠拟合奇异矩阵问题局部加权过拟合欠拟合局部加权公式：python 实践：岭回归矩阵的知识python 实现 问题前面教程我们已经讲了 怎么样求解 y = Q *X 的过程 。过拟合 和欠拟合但是当数据量较小的时候 会遇到 这样的问题: 过拟合 和欠拟合奇异矩阵问题 这个矩阵当没有 逆矩阵的时候怎么样求解。局部加权局部加权线性回归是普通线性回归的一个改进
这一节主要介绍以下使用XGBoost算法再CPU/GPU版本下代码的编写基本流程，主要分为以下几个部分：构造训练集/验证算法参数设置XGBoost模型训练/验证模型预测本节主要面对的任务场景是回归任务，有关多分类的任务见：XGBoost–4–代码编写基本流程–分类另外，除上述几个部分外，会涉及到sklearn用于加载数据集以及最后的模型预测的评价指标计算；导入使用到的库：import time
i
转载
2024-03-28 12:15:07
134阅读
在线性感知器算法中，我们使用了一个f(x)=x函数，作为激励函数，而在逻辑斯蒂回归中，我们将会采用sigmoid函数作为激励函数，所以它被称为sigmoid回归也叫对数几率回归（logistic regression），需要注意的是，虽然它的名字中带有回归，但事实上它并不是一种回归算法，而是一种分类算法。它的优点是，它是直接对分类的可能性进行建模的，无需事先假设数据分布，这样就避免了假设分布不准确
转载
2024-08-09 10:16:58
50阅读
y = b + w*x (不只可以设一次项，还可以设置二次项，三次项...，这个后面写)b和w的值求出来，这里就引出了一个函数：loss function,如下图： 这个函数的意义是每个实际的数据和预测数据的差值平方求和，如下图：注：现在的w b是该函数的变量),现在变成了一道数学题，当 w, b取何值时，函数loss function求得最小值?这时候 我们就知道了要用到数
转载
2024-08-19 10:49:06
80阅读
目标检测作为一种经典CV任务，大致可以认为是三个子任务的集合：1. 确定目标大概位置；2. 分类出目标类别；3. 回归出检测框的宽高；这三种子任务分别需要对应损失函数的反传来学习。今天介绍的b-box回归损失函数主要是面向第三个子任务而设计的损失函数。1. IOU全称Intersection-Over-Union，即交并比。计算预测框和标注框(即GT框)的交并比，就可以知道它们的“贴合程度”好不好
一、图示两种方式的不同LN：Layer Normalization，LN是“横”着来的，对一个样本，不同的神经元neuron间做归一化。BN：Batch Normalization，BN是“竖”着来的，各个维度做归一化，所以与batch size有关系。二者提出的目的都是为了加快模型收敛，减少训练时间。二、BN解决网络中的Convariate Shift问题 批标准化（Bact
转载
2024-05-09 21:43:09
32阅读
线性回归和逻辑回归五、 为什么逻辑回归比线性回归好 逻辑回归用于分类，本质是线性回归。逻辑回归和线性回归首先都是广义的线性回归1.实数敏感性一致，预测范围变小它仅在线性回归的基础上，在特征到结果的映射中加入了一层sigmoid函数（非线性）映射，即先把特征线性求和，然后使用sigmoid函数来预测。在整个实数域内敏感度一致，而分类范围，需要在[0,1]之内。因而对于这类问题来说，逻辑回归的鲁棒性比
转载
2024-04-03 09:59:43
420阅读
