本系列所有的代码和数据都可以从陈强老师的个人主页上下载：Python数据程序参考书目：陈强.机器学习及Python应用. 北京：高等教育出版社, 2021.本系列基本不讲数学原理，只从代码角度去让读者们利用最简洁的Python代码实现机器学习方法。惩罚回归介绍惩罚回归听着很奇特，其实就是普通的最小二乘回归的损失函数后面加了一个惩罚项，从而可以让模型的系数变小，即系数收缩，降低模型的复杂性，防止过拟
转载
2024-05-13 14:17:58
102阅读
一、 概述 在软件生命周期中的任何一个阶段，只要软件发生了改变，就可能给该软件带来问题。软件的改变可能是源于发现了错误并做了修改，也有可能是因为在集成或维护阶段加入了新的模块。当软件中所含错误被发现时，如果错误跟踪与管理系统不够完善，就可能会遗漏对这些错误的修改；而开发者对错误理解的不够透彻，也可能导致所做的修改只修正了错误的外在表现，而没有修复错误本身，从而造成修改失败；修改还有可能产生副作用从
转载
2024-09-20 19:55:55
34阅读
*逻辑回归（Logistic Regression）*是一种分类算法。不同于线性回归的回归属性，逻辑回归是的输出是一组离散值。以最简单的二元分类为例，逻辑回归通过每个样本的特征和其相应权重的相乘之后，通过sigmoid函数来得到相应的（0，1）值。如上所述，逻辑回归的预测函数为，其中，W,X分别为我们要求的权重和特征向量。之所以用Sigmoid函数是因为Sigmoid函数良好的性质，如图因为Sig
转载
2023-08-09 20:22:09
50阅读
## Lasso回归调参
### 1. 介绍
Lasso回归，即Least Absolute Shrinkage and Selection Operator回归，是一种经典的线性回归方法。与普通最小二乘法相比，Lasso回归在损失函数中加入了L1正则项，可以用于特征选择和模型建立。通过对正则项的调整，我们可以控制模型的复杂度和稀疏性。
在本篇文章中，我们将介绍如何使用Python中的Las
原创
2024-01-09 05:09:23
287阅读
Part4 线性模型1. 线性回归线性回归采用最小二乘法作为代价函数，需要符合最小二乘法使用的基本假设，违背基本假设时，普通最小二乘法估计量不再是最小线性无偏估计量，但是还是无偏的正规方程法中如果不可逆，两种解决方案：删除数据中多余的特征（即特征之间存在相关性）；删除部分特征数据使特征数小于样本数2.逻辑回归当逻辑回归仍采用线性回归的代价函数时，即仍用MSE表征，定义为，其中,所得到的代价函数将是
使用LASSO预测收益1.示例一个热门目标。只要有金融经济学家，金融经济学家一直在寻找能够预测股票回报的变量。对于最近的一些例子，想想Jegadeesh和Titman（1993），它表明股票的当前收益是由前几个月的股票收益预测的，侯（2007），这表明一个行业中最小股票的当前回报是通过行业中最大股票的滞后回报预测，以及Cohen和Frazzini（2008），这表明股票的当前回报是由其主要客户的滞
转载
2024-03-25 20:58:18
0阅读
二、岭回归1、原理如果样本量特别小的时候，容易造成过拟合现象。在进行回归系数推导的时候我们引入正则化项如果数据的特征比样本点还多应该怎么办？是否还可以使用线性回归和之前的方法来做预测？答案是否定的，即不能再使用前面介绍的方法。这是因为输入数据的矩阵X不是满秩矩阵。非满秩矩阵在求逆时会出现问题。为了解决这个问题，统计学家引入了岭回归（ridge regression)的概念 缩减方法可以去掉不重要的
转载
2024-05-30 02:09:22
56阅读
# 使用Python进行Logistic逐步回归剔除变量的实现
Logistic回归是一种广泛用于二分类问题的统计模型，可以通过逐步回归方法来选择最优的特征。逐步回归通过逐步添加或剔除变量来提高模型的性能。在本篇文章中，我们将详细介绍如何使用Python实现Logistic逐步回归剔除变量。
## 流程概述
首先，我们需要明确整个过程的步骤。以下是实现Logistic逐步回归剔除变量的基本流
前言线性回归算法是我们学习的第一个监督学习算法，我们将从最简单的单变量线性回归开始学习。主要内容：
一、代价函数(Cost Function)
二、梯度下降(Gradience Descent)单变量线性回归(Linear Regression with One Variable)(一)模型表示(Model Representation)
转载
2024-10-08 13:35:59
170阅读
当我们面对一个庞大的数据集的时候，我们想要对该数据集进行一些操作，可能会觉得比较繁琐。为了快速精准的实现数据过滤操作， SPSS是自带了语法功能，通过语法即可快速实现复杂操作。今天小编将通过快速删除变量的操作，让你感受到SPSS语法功能的强大。快速删除变量打开SPSS软件，并且新建一个数据集。这里为了演示快速删除变量小技巧，在数据集中添加了五个变量，并且增加了部分数据，具体数据集如下图所示。图1&
转载
2024-07-01 00:52:52
423阅读
参考教程：B站教程?课讲的挺垃圾的，主要还是看pdf?pdf其实也蛮垃圾的，主要还是看文献1和2通过该例，我们尝试用年龄、肿瘤大小、肿瘤扩散等级来预测癌变部位的淋巴结是否含有癌细胞。 无法使用多元线性回归模型的原因，老师在这里提到“因为残差不满足正态性、无偏性、共方差性等假设”。（←也是一种思路，可以与之前从吴恩达老师那里学的思路进行比较。）步骤1步骤2 因变量自然就是癌变部位xxx，协变量在这里
转载
2024-01-09 17:04:30
931阅读
在回归分析中，影响因变量y的因素很多，而有些自变量的对目标变量y的影响程度不同，为了建立一个相对最优的回归方程，我们需要筛选掉对目标变量y影响不大的变量，这就涉及到了变量选择问题。逐步回归是通过假设检验的方法来筛选强特征，但如果直接用特征变量和结果变量做回归，看系数的正负和大小来判断变量的相关性，其实也是合理的，但是为了考虑变量间的相互作用在回归模型中对结果的影响，通常还是应用逐步回归的方法。在逐
转载
2023-08-11 20:16:27
573阅读
线性模型的扩展1.两个概念：可加性与线性性①可加性：可加性是指预测变量Xj的变化对响应变量Y产生的影响与其他预测变量的取指无关。线性假设是指无论Xj取何值, Xj变化一个单位引起的响应变量Y的变化是恒定的。②线性关系：响应变量跟预测变量未必是线性，有时是多项式回归2.去除可加性假设注意到：当TV或radio其中之一较低时，真实sales总是低于线性模型的预测。但当两种媒体共享广告费时，模型往往会低
转载
2024-09-03 07:57:52
75阅读
在回归分析中，影响因变量y的因素很多，而有些自变量的对目标变量y的影响程度不同，为了建立一个相对最优的回归方程，我们需要筛选掉对目标变量y影响不大的变量，这就涉及到了变量选择问题。逐步回归是通过假设检验的方法来筛选强特征，但如果直接用特征变量和结果变量做回归，看系数的正负和大小来判断变量的相关性，其实也是合理的，但是为了考虑变量间的相互作用在回归模型中对结果的影响，通常还是应用逐步回归的方法。在逐
转载
2023-07-28 00:44:25
234阅读
1评论
1 多变量线性回归1.1 概念在上一篇文章中笔者详细的介绍了什么是线性回归以及一个典型的应用场景，同时还介绍了如何通过开源的sklearn来搭建一个简单的线性回归模型，使得对于线性回归的核心思想有了一定的掌握。接下来，笔记继续带领读者来进行下一步的学习。在这里还是以房价预测为例。尽管影响房价的主要因素的面积，但是其它因素同样也可能影响到房屋的价格。例如房屋到学校的距离、到医院的距离和
转载
2024-04-22 10:32:48
59阅读
线性回归概述##我们先考虑最简单的一种情况，即输入属性的数目只有一个，线性回归试图学得[1] 那么如何确定和b呢？关键在于如何衡量与y之间的差别。 均方误差是回归任务重最常用的性能度量，因此我们可以试图让均方误差最小化，即 \begin{equation} (w^, b^) = \mathop{\arg\min}{(w, b)} \mathop{\sum}{i=1}^m (f(x_i) - y_i
转载
2024-10-16 14:15:21
86阅读
Python回归分析向后剔除法
## 引言
在数据分析和机器学习中，回归分析是一种常见的统计方法，用于建立变量之间的关系模型。回归分析可以帮助我们理解自变量与因变量之间的关系，并可用于预测未知数据的结果。然而，当我们面临大量的自变量时，回归模型的效果可能会受到噪声变量的影响，从而导致模型的不准确性。为了解决这个问题，我们可以使用向后剔除法进行特征选择，从而获得更精确的回归模型。
## 特征选
原创
2023-09-28 12:16:18
512阅读
1、基本线性回归 LR基本线性回归，最小化误差的平方和，即求的是具有最小均方误差的无偏误差，从而解得回归系数。计算预测值序列和真实值的匹配程度，可以计算两个序列的相关系数，corrcoef(yHat.T, yMat)。from numpy import *def loadDataSet(fileName):
numFeat = len(open(fileName).readline().spli
转载
2024-03-29 15:19:39
226阅读
任务描述关于数据类型转换以及缺失值处理（尝试不同的填充看效果）以及你能借鉴的数据探索遇到的问题SVM模型训练时一直卡住不动，【原因是数据没有标准化或者是归一化】特征处理1删除无用变量无用变量比如一个类只有唯一属性（人类只用男性），若加入模型训练且对最终模型生效的话，很可能就是出现了过拟合data.drop(['id_name', 'custid', 'trade_no', 'bank_card_n
转载
2024-07-09 17:20:42
75阅读
环境变量基本概念环境变量（environment variables）⼀般是指在操作系统中⽤来指定操作系 统运⾏环境的⼀些参数，如：临时⽂件夹位置和系统⽂件夹位置等。环境变量操作 1.查看环境变量 右键计算机(此电脑),选择属性；系统界⾯左侧选择 ⾼级系统设置；选择环境变量 2.添加环境变量 通过新建按钮添加环境变量环境变量可以有多个值 ，值与值之间⽤ 英⽂逗号隔开 3.修改环境变量 通过编辑按钮
