## Lasso回归调参
### 1. 介绍
Lasso回归，即Least Absolute Shrinkage and Selection Operator回归，是一种经典的线性回归方法。与普通最小二乘法相比，Lasso回归在损失函数中加入了L1正则项，可以用于特征选择和模型建立。通过对正则项的调整，我们可以控制模型的复杂度和稀疏性。
在本篇文章中，我们将介绍如何使用Python中的Las
原创
2024-01-09 05:09:23
287阅读
*逻辑回归（Logistic Regression）*是一种分类算法。不同于线性回归的回归属性，逻辑回归是的输出是一组离散值。以最简单的二元分类为例，逻辑回归通过每个样本的特征和其相应权重的相乘之后，通过sigmoid函数来得到相应的（0，1）值。如上所述，逻辑回归的预测函数为，其中，W,X分别为我们要求的权重和特征向量。之所以用Sigmoid函数是因为Sigmoid函数良好的性质，如图因为Sig
转载
2023-08-09 20:22:09
50阅读
使用LASSO预测收益1.示例一个热门目标。只要有金融经济学家，金融经济学家一直在寻找能够预测股票回报的变量。对于最近的一些例子，想想Jegadeesh和Titman（1993），它表明股票的当前收益是由前几个月的股票收益预测的，侯（2007），这表明一个行业中最小股票的当前回报是通过行业中最大股票的滞后回报预测，以及Cohen和Frazzini（2008），这表明股票的当前回报是由其主要客户的滞
转载
2024-03-25 20:58:18
0阅读
本系列所有的代码和数据都可以从陈强老师的个人主页上下载：Python数据程序参考书目：陈强.机器学习及Python应用. 北京：高等教育出版社, 2021.本系列基本不讲数学原理，只从代码角度去让读者们利用最简洁的Python代码实现机器学习方法。惩罚回归介绍惩罚回归听着很奇特，其实就是普通的最小二乘回归的损失函数后面加了一个惩罚项，从而可以让模型的系数变小，即系数收缩，降低模型的复杂性，防止过拟
转载
2024-05-13 14:17:58
102阅读
实现功能：python实现Lasso回归分析（特征筛选、建模预测）输入结构化数据，含有特征以及相应的标签，采用Lasso回归对特征进行分析筛选，并对数据进行建模预测。实现代码： import numpy as np
import warnings
warnings.filterwarnings(action='ignore')
import pandas as pd
import matplotl
转载
2023-08-11 09:30:40
730阅读
线性回归（Linear Regression） 给定一些数据，{（x1，y1），（x2，y2）…（xn，yn） }，x的值来预测y的值，通常地，y的值是连续的就是回归问题，y的值是离散的就叫分类问题。 高尔顿的发现，身高的例子就是回归的典型模型。 线性回归可以对样本是线性的，也可以对样本是非线性的，
翻译
2018-07-25 16:03:00
289阅读
2评论
书接上文。
不愿露名的笨马：【机器学习-回归】梯度下降(SGD/BGD/MBGD)zhuanlan.zhihu.com
这一节我们主要考虑矩阵形式。考虑BGD的情形。BGD情形下，全体样本损失函数： 进一步，有： 为求其最小值，应有偏导数为0： 化简，即有： 注：不会矩阵求导的萌新可以点开这个链接： 到这里我们发现，模型的
线性回归虽然是机器学习中，可以说是最简单的一个模型了，理他最基本的形式通常来说确实比较容易，但是其实如果扩展开来，其实还有很多了解的。线性回归，局部加权线性回归，lasso回归，岭回归，SMO算法，logistics回归(逻辑回归)，softmax回归等等。更进一步，KL散度，协方差矩阵，相关系数，置信度，对比散度等等。线性回归对于最简单的线性回归，我认为就是一个单层的，没有激活函数的全连接神经网
转载
2024-03-19 06:58:56
163阅读
一、线性回归1.概述：什么是回归问题：对于一组训练集（输入and对应的输出），通过回归算法拟合出一条直线（or曲线）通过该曲线可以有效预测出未知数据对应的输出。例如下图： 2.具体方法：共m个数据，每个数据n个特征 ①随机形成一条直线（or曲线，以直线举例） ②对于每一个训练值，求
转载
2024-05-07 20:11:27
232阅读
一：Bounding-box regression回归1.问题理解(为什么要做 Bounding-box regression？ )如图 1 所示， 绿色的框为飞机的 Ground Truth, 红色的框是 Selective Search 提取的 Region Proposal。 那么即便红色的框被分类器识别为飞机，但是由于红色的框定位不准(IoU<0.5)， 那么这张图相当于没有正确的检
转载
2024-07-28 08:44:43
110阅读
一、均值回归理论 均值回归：股票价格无论高于或低于价值中枢(或均值)都会以很高的概率向价值中枢回归的趋势。何时会发生均值回归，属于“随机漫步”范畴。均线为中心。即当标的价格由于波动而偏离移动的均线时，它将调整并重新归于均线。 偏离程度：(MA-P)/MA1、均值回归原理 均值回归法则：万物最终都将回归于其长期的均值。 根据这个理论，一种上涨或者下跌的趋势不管其延续的时间多长都不能永远持续下
转载
2024-04-29 21:31:16
36阅读
前言AdaBost算法是Boosting族算法最著名的代表。这一族算法的工作机制也是很类似的：先从初始训练集训练处一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续收到更多关注，然后基于调整之后的的样本分布来训练下一个基学习器；日此往复，直至基学习器数目达到事先指定的值T，最终将这T个基学习器进行加权组合。 由于这里重点介绍的是AdsBoost算法，接
目标检测作为一种经典CV任务，大致可以认为是三个子任务的集合：1. 确定目标大概位置；2. 分类出目标类别；3. 回归出检测框的宽高；这三种子任务分别需要对应损失函数的反传来学习。今天介绍的b-box回归损失函数主要是面向第三个子任务而设计的损失函数。1. IOU全称Intersection-Over-Union，即交并比。计算预测框和标注框(即GT框)的交并比，就可以知道它们的“贴合程度”好不好
在线性感知器算法中，我们使用了一个f(x)=x函数，作为激励函数，而在逻辑斯蒂回归中，我们将会采用sigmoid函数作为激励函数，所以它被称为sigmoid回归也叫对数几率回归（logistic regression），需要注意的是，虽然它的名字中带有回归，但事实上它并不是一种回归算法，而是一种分类算法。它的优点是，它是直接对分类的可能性进行建模的，无需事先假设数据分布，这样就避免了假设分布不准确
转载
2024-08-09 10:16:58
53阅读
这一节主要介绍以下使用XGBoost算法再CPU/GPU版本下代码的编写基本流程，主要分为以下几个部分：构造训练集/验证算法参数设置XGBoost模型训练/验证模型预测本节主要面对的任务场景是回归任务，有关多分类的任务见：XGBoost–4–代码编写基本流程–分类另外，除上述几个部分外，会涉及到sklearn用于加载数据集以及最后的模型预测的评价指标计算；导入使用到的库：import time
i
转载
2024-03-28 12:15:07
134阅读
一、图示两种方式的不同LN：Layer Normalization，LN是“横”着来的，对一个样本，不同的神经元neuron间做归一化。BN：Batch Normalization，BN是“竖”着来的，各个维度做归一化，所以与batch size有关系。二者提出的目的都是为了加快模型收敛，减少训练时间。二、BN解决网络中的Convariate Shift问题 批标准化（Bact
转载
2024-05-09 21:43:09
32阅读
y = b + w*x (不只可以设一次项，还可以设置二次项，三次项...，这个后面写)b和w的值求出来，这里就引出了一个函数：loss function,如下图： 这个函数的意义是每个实际的数据和预测数据的差值平方求和，如下图：注：现在的w b是该函数的变量),现在变成了一道数学题，当 w, b取何值时，函数loss function求得最小值?这时候 我们就知道了要用到数
转载
2024-08-19 10:49:06
80阅读
机器学习之线性回归遇到的问题 问题过拟合 和欠拟合奇异矩阵问题局部加权过拟合欠拟合局部加权公式：python 实践：岭回归矩阵的知识python 实现 问题前面教程我们已经讲了 怎么样求解 y = Q *X 的过程 。过拟合 和欠拟合但是当数据量较小的时候 会遇到 这样的问题: 过拟合 和欠拟合奇异矩阵问题 这个矩阵当没有 逆矩阵的时候怎么样求解。局部加权局部加权线性回归是普通线性回归的一个改进
摘要： 线性回归是众所周知的非常基本的算法，但也存在很多不足。为了是算法模型能够具有更好的泛化能够，不至于模型过拟合，当前研究就传统的线性回归算法的基础上增加正则项，添加正则就是LASSO回归，添加正则就是岭回归，本文通过对这几个算法进行比较来说明各自的特点。关键字： 线性回归，岭回归，LASSO回归。前言线性回归算法是机器学习算法中的一个入门算法，简单容易理解，但是传统的线性回归算法有很多缺点，
转载
2024-05-02 16:58:49
153阅读
说明: 线性回归和Logistic回归他们两个解决的并不是一类问题,名字的话,的确很容易让人误导,这两者的区别: 线性回归是用来解决回归问题,而Logistic回归是用来解决二分类问题的,一个是回归,一个是分类, 这两大类型也是机器学习主要解决的,回归问题可以理解为一群连续输出的点,找到一条线或者曲线来预测薪资,房价;分类问题则是输出为有限的离散数据,比如将医疗数据分为是否患上了肿瘤, 由此可见两
转载
2024-03-20 10:53:52
124阅读
