今天来聊聊数据分析都会用到的工具，你都在用什么呢？数据分析的工具有很多，从数据分析岗位的描述里其实就能发现企业都需要会哪些工具的人，这里我分成了4类来聊聊。分别是基础、可视化、专业的统计分析以及编程语言。一、 基础说到数据分析的基础的工具，非Excel莫属。Excel微软办公系列的重要组成之一，任何办公人员都会用到的神器，不得不说它的体系太庞大了，在人力、金融、管理等多个领域都会应用，同样对数据分
嵌入式选择有没有可能将特征选择过程与学习器训练过程融为一体。以前我们设计学习器是希望均方误差达到最小值----min E(x;w)但是如果我们希望把不需要的特征变为0呢？我们可以把但是这是一个NP-hard问题。（NP-HARD问题可以理解为容易算出任何一种情况的结果值，但是要计算所有结果值然后统计出最小最大值会很难。） 所以怎么办呢？两个办法，办法一： L2正则化二范数是把所
转载
2024-07-23 16:22:17
75阅读
三、lasso回归1、原理 【拉格朗日乘数法】 对于参数w增加一个限定条件，能到达和岭回归一样的效果： 在lambda足够小的时候，一些系数会因此被迫缩减到0定义一系列的缩减系数,创建Lasso模型 x轴的取值范围为log10-10 ~ log10-2绘制图像 查看图像缩减范围 查看图像 从图像中可以发现,引入的惩罚项的系数λ在不断缩减,当取值范围大于log10-1 后趋近于0,趋于稳定四、普通线
转载
2024-03-17 14:29:20
369阅读
SAS过程步对SAS数据集中的变量进行各种统计分析，并对分析结果进行呈现、输出。PROC 过程名 <data=数据集名> <其它选项>;
过程步语句</选项>;
run;例： 在回归分析过程步proc reg中，通过数据集选项规定将哪些结果保存为SAS数据集，例如covout 选项表示将参数估计的协方差矩阵输出到由outest=给出的SAS数据集中，model语
转载
2024-06-04 13:55:47
312阅读
1 最熟悉的陌生人：多重共线性推导了多元线性回归使用最小二乘法的求解原理，我们对多元线性回归的损失函数求导，并得出求解系数 的式子和过程：在现实中特征之间完全独立的情况其实非常少，因为大部分数据统计手段或者收集者并不考虑统计学或者机器学习建模时的需求，现实数据多多少少都会存在一些相关性，极端情况下，甚至还可能出现收集的特征数量比样本数量多的情况。通常来说，这些相关性在机器学习中通常无伤大雅（在统计
转载
2024-03-24 21:46:57
151阅读
各位芝士好友，今天我们来聊一聊lasso回归算法。与预后有关的文章，传统的做法一般会选择多变量cox回归，高级做法自然就是我们今天的lasso分析。 首先我们先来几篇文献，看一下lasso最近发的两篇文章，如下：
&nbs
转载
2024-02-05 16:01:55
344阅读
一、使用场合 与岭回归类似，套索 (Least Absolute Shrinkage and Selection Operator) 也会对回归系数的绝对值添加一个罚值。此外，它能降低偏差并提高线性回归模型的精度。看看下面的等式： 套索回归与岭回归有一点不同，它在惩罚部分使用的是绝对值，而不是平方值。这导致惩罚（即用以约束估计的绝对值之和）值使一些参数估计结果等于
转载
2024-03-18 13:48:45
58阅读
很感谢网上的优质博客，正是因为有了这些知识的分享，才让学习的成本越来越低。 LASSO回归的求解涉及到了很多概念，例如次梯度、坐标下降法等。这里将学习过程中阅读的优质文章梳理一遍，并整理给各位看官看~喜欢的点个赞支持下。1.LASSO回归的形式 我们假定有 个属性， 个样例。LASSO与线性回归相比，在损失函数中添加了L1正则化项，其损失函数形式如下：
LASSO线性回归求解过程及求解代码。
LASSO线性回归模型LASSO是1996年由Tibshirani提出的一种惩罚方法，可以同时进行变量选择和参数估计，适用于高维数据。特点：稀疏性，不具有无偏性和一致性，不具有Oracle属性1. 研究背景例如研究基因对某个生物表征的影响，假定共有p个基因的n次观测值（p>>n)，因变量是连续型变量。我
转载
2023-08-03 23:15:57
262阅读
@机器学习之 线性回归，对数几率回归（逻辑回归），线性判别分析 模型是方法，策略是函数例如 最小二乘，算法是求解方法属性特征处理：二值离散特征（0和1）有序连续特征（1，2，3对应小 中 大）无序离散特征（one-hot编码）线性回归均方误差最小化（最小二乘估计）几何意义上是预测值和实际值的差平方（并不是垂直距离的误差，那样成了正交差）argmin(w,b) 求最小值的w和b极大似然估计（估计概率
加载调用函数包import numpy as np # 快速操作结构数组的工具import pandasimport matplotlib.pyplot as plt # 可视化绘制from sklearn.linear_model import Lasso,LassoCV,LassoLarsCV 数据读取data = pd.read_csv('C://Users//TD//D...
原创
2021-06-09 17:20:23
1194阅读
下表给出的数据是在洛杉矶十二个标准大都市居民统计地区中进行人口调查获得的。它有五个社会经济变量，分别是人口总数(pop) 、居民的教育程度或中等教育的年数(school )、雇佣人总数(employ )、各种服务行业的人数(services )和中等的房价(house )，试作因子分析。五个社会因素调查数据npopschool employ services
转载
2024-07-16 08:33:02
28阅读
Kaggle 网站（https://www.kaggle.com/）成立于 2010 年，是当下最流行的进行数据发掘和预测模型竞赛的在线平台。 与 Kaggle 合作的公司可以在网站上提出一个问题或者目标，同时提供相关数据，来自世界各地的计算机科学家、统计学家和建模爱好者， 将受领任务，通过比较模型的某些性能参数，角逐出优胜者。 通过大量的比赛，一系列优秀的数据挖掘模型脱颖而出，受到广大建模者的认
转载
2024-02-29 09:37:01
176阅读
线性回归存在一个很重要的问题就是过拟合(overfitting)问题，所谓过拟合简单直白的说就是模型的训练误差极小，而检验误差很大。一个好的学习器不仅能够很好的拟合训练数据，而且能够对未知样本有很强的泛化能力，即低泛化误差。先来看看线性回归中的过拟合现象图中左边的图表示的线性回归模型存在欠拟合现象(underfitting)，欠拟合顾名思义就是对训练数据的拟合程度不够好，训练误差大。中间的线性回归
转载
2024-04-05 22:31:22
714阅读
Lasso回归Lasso是可以估计稀疏系数的线性模型，尤其适用于减少给定解决方案依赖的特征数量的场合。如果数据的特征过多，而其中只有一小部分是真正重要的，此时选择Lasso比较合适。在数学表达上，Lasso类似于岭回归，也是在代价函数基础上增加了一个惩罚项的线性模型。主参数设置alpha : float, 可选，默认 1.0。当 alpha 为 0 时算法等同于普通最小二乘法，可通过 Linear
转载
2023-12-06 19:32:17
182阅读
该文已经收录到专题机器学习进阶之路当中，欢迎大家关注。1.过拟合当样本特征很多，样本数相对较少时，模型容易陷入过拟合。为了缓解过拟合问题，有两种方法： 方法一：减少特征数量（人工选择重要特征来保留，会丢弃部分信息）。 方法二：正则化（减少特征参数的数量级）。2.正则化（Regularizatio
线性回归虽然是机器学习中，可以说是最简单的一个模型了，理他最基本的形式通常来说确实比较容易，但是其实如果扩展开来，其实还有很多了解的。线性回归，局部加权线性回归，lasso回归，岭回归，SMO算法，logistics回归(逻辑回归)，softmax回归等等。更进一步，KL散度，协方差矩阵，相关系数，置信度，对比散度等等。线性回归对于最简单的线性回归，我认为就是一个单层的，没有激活函数的全连接神经网
转载
2024-03-19 06:58:56
163阅读
书接上文。
不愿露名的笨马：【机器学习-回归】梯度下降(SGD/BGD/MBGD)zhuanlan.zhihu.com
这一节我们主要考虑矩阵形式。考虑BGD的情形。BGD情形下，全体样本损失函数： 进一步，有： 为求其最小值，应有偏导数为0： 化简，即有： 注：不会矩阵求导的萌新可以点开这个链接： 到这里我们发现，模型的
Linear least squares，Lasso，ridge regression三者是有本质区别的。一、最小二乘法(Linear least squares)。最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题
转载
2024-05-11 08:02:23
43阅读
2.3 酉三角化以及实正交三角化2.3.1 定理：（Schur型；Schur三角化）设 有n个特征值，它们以任意指定次序排列，又设 是满足 的单位向量；（证明采取把U构造出来，了解即可） （a）存在一个以 为第一列的n阶酉矩阵U，使得 为n个对角元素的上三角矩阵 （b）如果A仅有实的特征值
