假定线性拟合方程： 变量 Xi 是 i 个变量或者说属性 参数 ai 是模型训练的目的就是计算出这些参数的值。 线性回归分析的整个过程可以简单描述为如下三个步骤：寻找合适的预测函数，即上文中的 h(x)h(x) ，用来预测输入数据的判断结果。这个过程时非常关键的，需要对数据有一定的了解或分析，知道或
转载
2024-05-07 12:20:32
47阅读
机器学习多变量线性回归代码 Linear Regression (LR) is one of the main algorithms in Supervised Machine Learning. It solves many regression problems and it is easy to implement. This paper is about Univariate Linea
转载
2024-05-08 09:44:01
38阅读
原文链接：http://tecdat.cn/?p=10080Theil-Sen估计器是一种在社会科学中不常用 的简单线性回归估计器 。三个步骤：在数据中所有点之间绘制一条线 计算每条线的斜率 中位数斜率是 回归斜率用这种方法计算斜率非常可靠。当误差呈正态分布且没有异常值时，斜率与OLS非常相似。有几种获取截距的方法。如果 关心回归中的截距，那么知道 软件在做什么是...
原创
2021-05-12 14:07:42
1230阅读
原文链接：http://tecdat.cn/?p=10080Theil-Sen估计器是一种在社会科学中不常用 的简单线性回归估计器 。三个步骤：在数据中所有点之间绘制一条线 计算每条线的斜率 中位数斜率是 回归斜率用这种方法计算斜率非常可靠。当误差呈正态分布且没有异常值时，斜率与OLS非常相似。有几种获取截距的方法。如果 关心回归中的截距，那么知道 软件在做什么是...
原创
2021-05-12 14:07:44
1865阅读
R语言中的Theil-Sen回归分析
原创
2022-11-28 09:48:48
171阅读
1.非参数方法参数方法 VS 非参数方法总体的分布形式已知，而其中的某些参数未知，我们可以通过从总体中随机抽取样本，根据样本信息对总体参数进行估计和假设检验，这就是一般所说的参数方法总体的分布未知，或虽已知却不能用有限个参数刻画，这时要对总体的某些性质进行估计或假设检验，就要使用非参数方法注意：非参数方法并非绝对只能解决非参数问题，有些也适用于典型的参数问题对符合使用参数方法条件的数据，首选参数方
线性回归（Linear Regression） 给定一些数据，{（x1，y1），（x2，y2）…（xn，yn） }，x的值来预测y的值，通常地，y的值是连续的就是回归问题，y的值是离散的就叫分类问题。 高尔顿的发现，身高的例子就是回归的典型模型。 线性回归可以对样本是线性的，也可以对样本是非线性的，
翻译
2018-07-25 16:03:00
289阅读
2评论
书接上文。
不愿露名的笨马：【机器学习-回归】梯度下降(SGD/BGD/MBGD)zhuanlan.zhihu.com
这一节我们主要考虑矩阵形式。考虑BGD的情形。BGD情形下，全体样本损失函数： 进一步，有： 为求其最小值，应有偏导数为0： 化简，即有： 注：不会矩阵求导的萌新可以点开这个链接： 到这里我们发现，模型的
线性回归虽然是机器学习中，可以说是最简单的一个模型了，理他最基本的形式通常来说确实比较容易，但是其实如果扩展开来，其实还有很多了解的。线性回归，局部加权线性回归，lasso回归，岭回归，SMO算法，logistics回归(逻辑回归)，softmax回归等等。更进一步，KL散度，协方差矩阵，相关系数，置信度，对比散度等等。线性回归对于最简单的线性回归，我认为就是一个单层的，没有激活函数的全连接神经网
转载
2024-03-19 06:58:56
163阅读
一、线性回归1.概述：什么是回归问题：对于一组训练集（输入and对应的输出），通过回归算法拟合出一条直线（or曲线）通过该曲线可以有效预测出未知数据对应的输出。例如下图： 2.具体方法：共m个数据，每个数据n个特征 ①随机形成一条直线（or曲线，以直线举例） ②对于每一个训练值，求
转载
2024-05-07 20:11:27
232阅读
表面理解的线性对于给定的一组输入值x和输出值y，我们假定其关系为线性的，就会得出： y = kx+b，即我们在大学前接触到的最基本的线性方程，只要我们求出k和b来，就可以求出整条直线上的点，这就是很多人认为的线性： 简单来说很多人认为：线性回归模型假设输入数据和预测结果遵循一条直线的关系但是，这种理解是一叶障目。线性的含义线性回归模型是：利用线性函数对一个或多个自变量 （x 或 (x1,x2,…x
转载
2024-02-27 21:34:33
237阅读
回归问题 回归分析用于预测输入量变（自变量）和输出变量（因变量）之间的关系，特别是当输入变量的值发生变化时，输出变量值随之发生变化。只管来说回归问题等价于函数拟合，选择一条函数曲线使其很好的拟合已知数据且很好的预测未知数据。 回归分析根据自变量个数分为【一元回归分析与多元回归分析】，根据自变量与因变量关系分为【线性回归分析与非线性回归分析】，根据因变量个数分为【简单回归分析与多重回归分析】1.线性
转载
2024-07-06 04:59:34
63阅读
Kaggle 网站（https://www.kaggle.com/）成立于 2010 年，是当下最流行的进行数据发掘和预测模型竞赛的在线平台。 与 Kaggle 合作的公司可以在网站上提出一个问题或者目标，同时提供相关数据，来自世界各地的计算机科学家、统计学家和建模爱好者， 将受领任务，通过比较模型的某些性能参数，角逐出优胜者。 通过大量的比赛，一系列优秀的数据挖掘模型脱颖而出，受到广大建模者的认
转载
2024-02-29 09:37:01
176阅读
一：Bounding-box regression回归1.问题理解(为什么要做 Bounding-box regression？ )如图 1 所示， 绿色的框为飞机的 Ground Truth, 红色的框是 Selective Search 提取的 Region Proposal。 那么即便红色的框被分类器识别为飞机，但是由于红色的框定位不准(IoU<0.5)， 那么这张图相当于没有正确的检
转载
2024-07-28 08:44:43
110阅读
一、均值回归理论 均值回归：股票价格无论高于或低于价值中枢(或均值)都会以很高的概率向价值中枢回归的趋势。何时会发生均值回归，属于“随机漫步”范畴。均线为中心。即当标的价格由于波动而偏离移动的均线时，它将调整并重新归于均线。 偏离程度：(MA-P)/MA1、均值回归原理 均值回归法则：万物最终都将回归于其长期的均值。 根据这个理论，一种上涨或者下跌的趋势不管其延续的时间多长都不能永远持续下
转载
2024-04-29 21:31:16
36阅读
摘要： 线性回归是众所周知的非常基本的算法，但也存在很多不足。为了是算法模型能够具有更好的泛化能够，不至于模型过拟合，当前研究就传统的线性回归算法的基础上增加正则项，添加正则就是LASSO回归，添加正则就是岭回归，本文通过对这几个算法进行比较来说明各自的特点。关键字： 线性回归，岭回归，LASSO回归。前言线性回归算法是机器学习算法中的一个入门算法，简单容易理解，但是传统的线性回归算法有很多缺点，
转载
2024-05-02 16:58:49
153阅读
说明: 线性回归和Logistic回归他们两个解决的并不是一类问题,名字的话,的确很容易让人误导,这两者的区别: 线性回归是用来解决回归问题,而Logistic回归是用来解决二分类问题的,一个是回归,一个是分类, 这两大类型也是机器学习主要解决的,回归问题可以理解为一群连续输出的点,找到一条线或者曲线来预测薪资,房价;分类问题则是输出为有限的离散数据,比如将医疗数据分为是否患上了肿瘤, 由此可见两
转载
2024-03-20 10:53:52
124阅读
前言AdaBost算法是Boosting族算法最著名的代表。这一族算法的工作机制也是很类似的：先从初始训练集训练处一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续收到更多关注，然后基于调整之后的的样本分布来训练下一个基学习器；日此往复，直至基学习器数目达到事先指定的值T，最终将这T个基学习器进行加权组合。 由于这里重点介绍的是AdsBoost算法，接
在线性感知器算法中，我们使用了一个f(x)=x函数，作为激励函数，而在逻辑斯蒂回归中，我们将会采用sigmoid函数作为激励函数，所以它被称为sigmoid回归也叫对数几率回归（logistic regression），需要注意的是，虽然它的名字中带有回归，但事实上它并不是一种回归算法，而是一种分类算法。它的优点是，它是直接对分类的可能性进行建模的，无需事先假设数据分布，这样就避免了假设分布不准确
转载
2024-08-09 10:16:58
53阅读
这一节主要介绍以下使用XGBoost算法再CPU/GPU版本下代码的编写基本流程，主要分为以下几个部分：构造训练集/验证算法参数设置XGBoost模型训练/验证模型预测本节主要面对的任务场景是回归任务，有关多分类的任务见：XGBoost–4–代码编写基本流程–分类另外，除上述几个部分外，会涉及到sklearn用于加载数据集以及最后的模型预测的评价指标计算；导入使用到的库：import time
i
转载
2024-03-28 12:15:07
134阅读
