基本概念 线性模型是用属性的线性组合来进行预测的函数： 对于一个n维的数据$\mathbf{x}=\{x_1,x_2,…,x_n\}$，要学的一组权重$w_1,w_2,…,w_n;b$,使得预测结果为： 向量的形式是这样的 线性模型的权重可以代表每个属性所占有的比重，其中权值越大，代表这个属性越重要。所以线性的模型可以作为一种嵌入式的特征选择，使用它
转载
2024-06-12 22:10:10
206阅读
假设一个数据集有n个样本，每个样本有m个特征，样本标签y为{0, 1}。数据集可表示为： 其中，x(ij)为第i个样本的第j个特征值，y(i)为第i个样本的标签。X矩阵左侧的1相当于回归方程的常数项。每个特征有一个权重（或系数），权重矩阵为：开始可以将权重均初始化为1。将特征及权重分别相乘得到Xw (即特征的线性组合，为n维列向量)。经过Sigmoid函数处理得到预
转载
2024-09-02 19:10:07
41阅读
# Python 权重回归：一种简单有效的线性回归方法
在机器学习和统计分析中，线性回归是一种基础而重要的模型。权重回归（Weighted Regression）则是在普通线性回归的基础上，赋予不同数据点不同的重要性。本文将讨论权重回归的概念及其实现，同时提供Python代码示例。
## 权重回归的基本概念
在普通线性回归中，我们假设每个数据点对模型的贡献是相同的。然而，在某些情况下，一些数
原创
2024-09-07 05:50:19
42阅读
关于线性回归模型的由来以及定义的更涉及本质的深入的分析见 文章目录1. 线性回归问题的数学描述2. 最小均方算法（LMS, Least Mean Square）2.1. 只有一个样本的情况2.2. 多个样本的情况2.3. 线性回归的闭式解（解析解）3. 线性回归模型的概率解释3.1. 线性回归模型前提假设条件3.2. 损失函数为均方误差的证明 1. 线性回归问题的数学描述记为n维的输入特征，为参数
转载
2024-04-08 12:25:55
127阅读
1.熵值法笔记:因此可以运用信息熵评价所获系统信息的有序程度及信息的效用值.在评价体系中，指标的信息熵越大，则其信息的效用值越小，因此赋予该指标较小的指标权重；指标的信息熵越小，则其信息的效用值越大，因此赋予该指标较大的指标权重. ~~~python#!/usr/bin/python
# -*- coding: utf-8 -*-
"""
Created on Fri Mar 23 10:48
转载
2023-09-04 16:49:35
120阅读
转载
精选
2011-01-19 09:43:28
1191阅读
python信用评分卡（附代码，博主录制） Excel多元回归http://blog.sina.com.cn/s/blog_a20c88b601014j9x.html 转载 使用Excel数据分析工具进行多元回归分析与简单的回归估算分析方法基本相同。但是由于有些电脑在安装办公软件时并未加载数据分析工具，所以从加载开始说起（以Excel2010版为例，其余版本都可以在
转载
2023-10-11 18:30:40
7阅读
在统计学中，回归分析（regression analysis)指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。回归分析按照涉及的变量的多少，分为一元回归和多元回归分析；按照因变量的多少，可分为简单回归分析和多重回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分
转载
2024-02-29 13:35:22
65阅读
# 多重回归分析及其Python实现
## 引言
在统计学和机器学习中，多重回归分析是一种非常重要且常用的分析工具。它主要用于研究一个因变量与多个自变量之间的关系，从而预测因变量的值。本篇文章将介绍多重回归分析的基本概念、应用场景以及如何使用Python进行实际操作。
## 多重回归分析的基本概念
多重回归模型是线性回归模型的扩展。其基本形式可以表示为：
$$ Y = \beta_0 +
般线性回归中，使用的假设函数是一元一次方程，也就是二维平面上的一条直线。但是很多时候可能会遇到直线方程无法很好的拟合数据的情况，这个时候可以尝试使用多项式回归。多项式回归中，加入了特征的更高次方（例如平方项或立方项），也相当于增加了模型的自由度，用来捕获数据中非线性的变化。添加高阶项的时候，也增加了模型的复杂度。随着模型复杂度的升高，模型的容量以及拟合数据的能力增加，可以进一步降低训练误差，但导致
转载
2023-11-24 23:56:41
39阅读
目录线性模型损失函数解析解随机梯度下降用模型进行预测矢量化加速正态分布与平方损失从线性回归到深度网络神经网络图线性模型.和称为权重（weight），权重决定了每个特征对我们预测值的影响。 b称为偏置（bias）、偏移量（offset）或截距（intercept）。偏置是指当所有特征都取值为0时，预测值应该为多少。如果没有偏置项，我们模型的表达能力将受到限制。当我们的输入包含d个特征时，我们将预测结
一、二分类逻辑回归模型逻辑回归是一种分类模型，由条件概率分布$P(Y|X)$表示，形式为参数化的逻辑分布。随机变量$X$的取值为 实数，随机变量$Y$的取值为0或1。通过监督学习的方法来估计参数模型。对于二分类任务，逻辑回归模型为如下的条件概率：$P(Y=1|x)=\frac{e^{w\cdot x+b}}{1+e^{w\cdot x+b}}$
转载
2023-08-13 20:08:58
152阅读
通过回归分析预测连续变量from IPython.display import Image
%matplotlib inline1.介绍线性回归线性回归的目标是：对一个或者多个特征与连续型的目标变量之间的关系进行建模。1.1简单线性回归对于单个的特征，单变量线性回归表示如下：其中，代表的是轴截距，代表特征的权重系数。目标就是：学习线性方程的权重，从而描述特征变量与目标变量之间的关系，然后利用这些权
转载
2024-05-11 17:18:42
150阅读
记录一下自己深度学习的开始2020.12.08,以后坚持每天都写一点自己学习心得回归:根据输入的数据,预测出某个具体的值 h(x)就是预测的值,也可以写作y^ 因此,为了找到合适的权重(theta),数学上有很多找到其值的方法,在机器学习和数据分析中,我们常用的方法有四种线性回归多项式回归岭回归LASSO代价函数(损失函数) 在学习各类回归方法之前,必须有必要先了解代价函数 损失函数是由似然函数推
转载
2024-03-24 18:33:59
90阅读
假设一个数据集有n个样本，每个样本有m个特征，样本标签y为{0, 1}。数据集可表示为： 其中，x(ij)为第i个样本的第j个特征值，y(i)为第i个样本的标签。X矩阵左侧的1相当于回归方程的常数项。每个特征有一个权重（或系数），权重矩阵为：开始可以将权重均初始化为1。将特征及权重分别相乘得到Xw (即特征的线性组合，为n维列向量)。经过Sigmoid函数处理得到预测值：y为预
转载
2024-03-22 11:36:36
251阅读
上次我们留了个两个问题没有仔细说明，一个是局部加权线性回归，另一个是岭回归。今天依次对这两种算法进行说明。一、局部加权线性回归欠拟合这种问题是仅仅凭借一条直线来对数据点进行拟合的线性回归算法所无法避免的，而解决这种欠拟合问题的方法中，有一种最为简便，称之为局部加权线性回归。顾名思义，局部加权线性回归就是指给被预测点周围的数据点赋以不同的权重，让预测更加注重局部上的趋势而不是整体上的趋势，这样的
转载
2024-06-13 17:46:16
231阅读
前言 回顾一下
回归（一）中的
标准线性回归：
step1： 对于训练集，求系数w，使得
最小 从中我们知道，标准线性回归可能表达能力比较差，出现如图所示的欠拟合的情况（underfitting）：
我们可以通过添加诸如x
2 或sin(x)等特征重新拟合函数来解决这个问题，但是这里讨论另一种方法
转载
2024-02-21 16:51:57
155阅读
文章目录线性模型基本形式线性回归求解参数w和b常见的参数求解方法批量与小批量算法正则化（参数范数惩罚） 线性模型基本形式通过属性的线性组合来进行样本预测：写成向量的形式：w 表示每个属性的权重，b 为偏置值，x 为样本向量，f(x) 为预测值线性回归回归分析是一种预测性的建模，研究自变量和因变量之间的关系数学描述：给定训练集 其中 表示对 求解参数w和b一般来说，我们要使预测值的均方误差最小，
转载
2024-09-15 07:01:24
131阅读
(1)线性回归通过权重与特征的乘积相加，即y = w1*x1+w2x2+....wn*xn + bias ①准备好已知的特征值x和目标值y （如y = x * 0.7 + 0.8，训练的目的是为了找到权重0.7和bias0.8） ②建立模型，随机初始化准备权重w和偏置b，得到预测值y_predict ③y_predict = x * w + b (这里的权重
转载
2023-10-29 16:37:19
360阅读
线性回归（一）实践篇模型思路线性模型损失函数梯度下降优化公式算法结构参数初始化损失函数完整的模型训练使用训练好的参数进行预测（输出）将设计好的模型进行封装（待续） QQ:3020889729 小蔡 本文可
转载
2024-07-26 14:03:04
134阅读
