注：正则化是用来防止过拟合的方法。在最开始学习机器学习的课程时，只是觉得这个方法就像某种魔法一样非常神奇的改变了模型的参数。但是一直也无法对其基本原理有一个透彻、直观的理解。直到最近再次接触到这个概念，经过一番苦思冥想后终于有了我自己的理解。 0. 正则化（Regularization ）前面使用多项式回归，如果多项式最高次项比较大，模型就容易出现过拟合。正则化
机器学习-Sklearn-12（回归类大家族-上——多元线性回归、岭回归、Lasso）(解决多重共线性)1 概述1.1 线性回归大家族回归是一种应用广泛的预测建模技术，这种技术的核心在于预测的结果是连续型变量。其在现实中的应用 非常广泛，包括使用其他经济指标预测股票市场指数，根据喷射流的特征预测区域内的降水量，根据公司的广告花费预测总销售额，或者根据有机物质中残留的碳-14的量来估计化石的年龄等等
转载
2024-03-10 20:12:49
83阅读
Lasso 是估计稀疏系数的线性模型. 在某些场景下适用，因为它倾向于使用具有较少参数值的解决方案, 有效减少给定解所依赖的变量数. 为此，Lasso 及其变体是 compressed sensing ( 压缩感知领域 ) 的基础. 在某些条件下，它可以恢复精确的非零权重集(参见 Compressive sensing: tomogra
转载
2024-02-10 20:59:09
554阅读
线性回归介绍之一作者：未知 整理：Lestat线性回归在所有的统计方法中绝对占有不可忽视的一席之地，其用途之广泛毋庸置疑，更重要的是它是整个回归家族中最为简单、也最容易理解的方法，几乎所有的统计学教材，不管是医学统计还是社会统计抑或经济统计，线性回归绝对会有独立的章节，而其他的回归方法则很少有这种待遇。线性回归大致可分为单因素回归和多因素
转载
2024-08-15 16:05:30
46阅读
一、多变量线性回归（Multivariate Linear Regression）1.1 多维特征（Multiple Features）目前为止，我们探讨了单变量/特征的回归模型，现在我们对房价模型增加更多的特征， 例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为（x 1 ,x 2 ,…,x n ）。 增添更多特征后，我们引入一系列新的注释： n 代表特征的数量 m 代表训练样
转载
2024-04-20 12:11:19
364阅读
目录实例一：目前有汽车数据，找到相关规律并做汽车价格预测。1.调取相关工具包、读取数据、观察数据2.清理数据：数据格式化、缺失值处理、异常值处理、预处理、特征相关性等2.1 缺失值处理2.2 特征相关性2.3 预处理（标准化，分类处理）3.Lasso 回归4.预测及检验实例一：目前有汽车数据，找到相关规律并做汽车价格预测。 &nbs
转载
2024-04-10 10:54:57
132阅读
1.背景介绍多变量回归分析是一种常用的统计学方法，用于研究多个自变量对因变量的影响。在实际应用中，我们经常会遇到自变量之间存在相关性的情况。这种相关性可能会导致回归分析的结果不准确，甚至导致回归系数的误解。因此，处理自变量之间的相关性在多变量回归分析中具有重要意义。在本文中，我们将讨论如何处理自变量之间的相关性，以提高多变量回归分析的准确性和可靠性。我们将从以下几个方面进行讨论：背景介绍核心概念与
转载
2024-07-12 15:35:42
48阅读
最简单的逻辑回归逻辑回归假设数据预测变量(预期目标):数据搜索创建虚拟变量使用SMOTE进行过采样（Over-sampling）递归特征消除（Recursive Feature Elimination）实现模型逻辑回归模型拟合Confusion Matrix（混乱矩阵）计算精度，召回（recall），F测量（F-measure）和支持ROC曲线学习感悟 逻辑回归是一种机器学习分类算法，用于预测分
转载
2024-02-19 22:52:48
133阅读
文章目录关于逻辑回归的思考1.问题的引出2.sigmod函数例1例2对比发现逻辑回归是如何做到分类的？1.模型2.策略损失函数3.算法采用梯度下降算法求解参数
Θ
导语我们在【从零开始的机器学习】-05 线性代数基础中介绍了一些线性代数的基础，包括矩阵的一些运算和操作。在本章，我们将运用这些操作，实现多元线性回归问题的参数最优化和预测。1. 什么是多元线性回归问题？在之前的章节里，我们以“用房屋面积来预测房价”为例，介绍了一元线性回归问题。其中，自变量（也被称为特征值）只有“房屋面积”这一个，而因变量则是“房价”。然而，在更为一般的问题中，自变量往往不不止一
转载
2024-03-01 11:13:27
86阅读
文章目录1. 线性回归简介1.1 简单线性回归1.2 多元线性回归2. 探索住房数据集2.1 加载住房数据2.2 可视化数据集的重要特点2.3 用相关矩阵查看关系3. 普通最小二乘线性回归模型的实现3.1 用梯度下降方法求解回归参数附：用梯度下降更新权重3.2 通过scikit-learn估计回归模型的系数附：线性回归的分析解4. 利用RANSAC拟合鲁棒回归模型5. 评估线性回归模型的性能6.
转载
2024-09-04 21:01:49
112阅读
2015-10-08 20:18:32注： 之前解除过C++比较少，只学过C语言。-----------------------------------------------------------内置类型是编程语言自己定义的一些类型，不需要我们自己定义了。 比如bool、int； 空类型Void 不对应具体的值，仅用于特殊的场合，例如最常见的是，当函
最近课程作业让阅读了这篇经典的论文，写篇学习笔记。
主要是对论文前半部分Lasso思想的理解，后面实验以及参数估计部分没有怎么写，中间有错误希望能提醒一下，新手原谅一下。
最近课程作业让阅读了这篇经典的论文，写篇学习笔记。主要是对论文前半部分Lasso思想的理解，后面实验以及参数估计部分没有怎么写，中间有错误希望能提醒一下，新手原谅一下。1.整体思路L
转载
2024-04-12 22:10:37
202阅读
GPT什么是语言模型
自编码（auto-enconde）语言模型自回归（auto-regressive）语言模型基于Transformer的语言模型Transformer进化GPT2概述GPT2详解
输入编码多层DecoderDecoder中的Self-Attention详解Self-Attention
GPT2中的Self-AttentionGPT2全连接神经网络除了BERT以
接着上次的笔记，此次笔记的任务是利用lasso回归建立预测模型并绘制列线图。在目前发表的论文中，lasso回归大都只是作为一种变量的筛选方法。首先通过lasso回归获得系数不为0的解释变量，再利用这些筛选到的变量进行多重回归建立预测模型，实际上这是relaxed lasso的一种特殊情况（γ=0）。这种做法用于预测问题不大，但一般不用于因果推断。我们也可以直接利用lasso回归的参数来建模预测，但
转载
2024-01-26 22:01:50
942阅读
上一节中讲的是单个变量的处理方法，那多变量问题要怎么办呢？ （X上标（2）是一个索引，代表着第二个训练集样本，此处指的是表格中的第二行。） 梯度运算的使用技巧1：特征缩放（feature scaling） 数据预处理中，标准的第一步是数据归一化。如下图所示，蓝色的圈圈图代表的是两个特征的等高线。其中左图两个特征X1和X2的区间相差非常大，X1区间是[0,2000]，X2区间是[1,5]，其所形成的
转载
2024-06-06 22:49:30
431阅读
对模型参数进行限制或者规范化能将一些参数朝着0收缩（shrink）。使用收缩的方法的效果提升是相当好的，岭回归（ridge regression，后续以ridge代称），lasso和弹性网络（elastic net）是常用的变量选择的一般化版本。弹性网络实际上是结合了岭回归和lasso的特点。Lasso和Ridge比较Lasso的目标函数：Ridge的目标函数：ridge的正则化因子使用二阶范数，
转载
2024-05-21 23:03:10
59阅读
这两个都是正则化的手段。LASSO是基于回归系数的一范数，Ridge是基于回归系数的二范数的平方。 根据Hastie, Tibshirani, Friedman的经典教材，如果你的模型中有很多变量对模型都有些许影响，那么用Ridge；如果你的模型中只有少量变量对模型很大影响，那么用LASSO。LASSO可以使得很多变量的系数为0（相当于降维），但是Ridge却不能。因为Ridge计算起来
转载
2024-06-19 16:44:52
351阅读
也许我这个标题不大严谨，学渣念书就是小和尚念经，念了啥也不记得，只记得个名词了。我们在学统计学的时候好像到处都看到变量选择，为啥要做变量选择？在哪些情况下要做变量选择？做变量选择的效果好不好？姑且把这个标题这么写吧，似乎变量选择也不止出现在回归分析中。对于最小二乘估计，我们不满意的原因通常有两个：1，通常具有低偏差高方差，从而预测准确度不够好。我们有时候可以用shrinkage方法通过收缩一些变量
转载
2024-03-25 17:57:51
319阅读
文章目录线性回归和岭回归、Lasso回归一、基础概念二、sklearn线性回归API三、线性回归实例（加州房价数据集分析流程）3.1 正规方程预测3.2 梯度下降预测3.3 岭回归3.4 Lasso回归 线性回归和岭回归、Lasso回归一、基础概念线性回归的本质就是：求解:是系数（coefficient），是特征值，是目标值（label）。目的是找到最小损失对应的W：通常有两种方法，一种是正规方
转载
2024-03-18 21:29:02
253阅读
