一.概述 回归分析是研究统计规律的方法之一。在回归分析中我们把所关心的一些指标称为因变量，通常用Y来表示；影响因变量的变量称为自变量，用X1、X2、…XP来表示。回归分析研究的主要问题是：确定Y与X1、X2、…XP间的定量关系表达式，这种表达式称为回归方程；对求得的回归方程的可信度进行检验，判断自变量对Y有无影响；利
转载
2024-04-28 15:59:14
122阅读
初看Xgboost，翻了多篇博客发现关于xgboost原理的描述实在难以忍受，缺乏逻辑性，写一篇供讨论。观其大略，而后深入细节，一开始扎进公式反正我是觉得效率不高，还容易打消人的积极性。首先说下决策树决策树是啥？ 举个例子，有一堆人，我让你分出男女，你依靠头发长短将人群分为两拨，长发的为“女”，短发为“男”，你是不是依靠一个指标“头发长短”将人群进行了划分，你就形成了一个简单的决策树，官
转载
2024-08-02 16:25:55
36阅读
一、简介这是一篇关于线性回归的基本操作，用月度收益率数据以及其所在市场的市场收益率数据，通过StataIC软件求得个股的β系数博主是一个普普通通的大学生，没有很厉害的技术，写的内容都是不太正经的偏小白简单的，写的也是学校教过的知识消化后自己的见解，不是很学术研究的博文。配置：Window 7旗舰版+64位操作系统+StataIC 14（64-bit）二、参数解释1. β值的含义β=1，表示该单项资
转载
2024-04-02 21:39:39
45阅读
01回归系数注意回归系数的正负要符合理论和实际。截距项的回归系数无论是否通过T检验都没有实际的经济意义。02回归系数的标准差标准误差越大，回归系数的估计值越不可靠，这可以通过T值的计算公式可知（自查）。03T检验T值检验回归系数是否等于某一特定值，在回归方程中这一特定值为0，因此T值=回归系数/回归系数的标准误差，因此T值的正负应该与回归系数的正负一致，回归系数的标准误差越大，T值越
转载
2024-02-09 15:23:33
2305阅读
机器学习求索之路（2）— 逻辑回归@(Machine Learning) 文章目录机器学习求索之路（2）--- 逻辑回归1. 原理2. 损失函数2.1. 损失函数推导2.2. 损失函数求解3. 正则化和模型评估3.1. 正则化3.2. 模型评估4. 类别不平衡问题5. 优缺点6. Python调用及参数 1. 原理和输入样本矩阵之间的线性关系系数，满足。此时是连续的，所以是回归模型。如果是离散的话
转载
2024-07-12 13:10:17
45阅读
作者：SAS_Miner
分类回归树 classification and regression tree(C&RT) racoon优点（1）可自动忽略对目标变量没有贡献的属性变量，也为判断属性变量的重要性，减少变量数据提供参考；（2）在面对诸如存在缺失值、变量数多等问题时C&RT 显得非常稳健（robust）；（3）估计
转载
2024-09-15 20:40:54
41阅读
空值清洗 - 处理丢失数据常见的两种空值数据(丢失数据) None
np.nan(NaN) None None是python自带的,其类型为python object .因此,None不能参与到任何计算中 type(None) #NoneType
Npne + 1 #报错 np.nan(NaN) np.nan是浮点型,能参与计算,但计算的结果总是NaN import num
转载
2024-07-21 20:08:42
59阅读
在线性回归模型中，其参数估计公式为不可逆时无法求出，另外如果越趋近于0，会使得回归系数趋向于无穷大，此时得到的回归系数是无意义的。解决这类问题可以使用岭回归和LASSO回归，主要针对自变量之间存在多重共线性或者自变量个数多于样本量的情况。一、正则化1.什么是正则化对损失函数(目标函数)加入一个惩罚项，使得模型由多解变为更倾向其中一个解。在最小二乘法中，可以这样理解。XTX可能是不可逆的，通过加上正
转载
2024-04-30 08:20:09
85阅读
对t p>[t] F R^2 置信区间的值做出相应解释 因变量是新生儿体重birth weight 主题是产前护理及父母恶习对新生儿健康的影响 此外hypothesis假设应该怎么写.首先说觉得你这个方程回归的不好，R系数太小，显著性不好。F值应该大于该自由度下查表的值才行，所有的t值大于查表得到的值，这样从方程到参量全部显著。不过受制于原始数据，一般都
转载
2024-03-22 15:26:00
116阅读
分类回归树 Classification and RegressionTree(C&RT) 优点（1）可自动忽略对目标变量没有贡献的属性变量，也为判断属性变量的重要性，减少变量数据提供参考；（2）在面对诸如存在缺失值、变量数多等问题时C&RT 显得非常稳健（robust）；（3）估计模型通常不用花费很长的训练时间； ( 4 ) 推理过程完全依据属性变
转载
2024-06-13 22:21:38
31阅读
大家下午好，最近在网上认识一个妹子，叫XDB，偏偏她和我闹别扭，失效了。所以我通过去她老家MOS，多次明察暗访，研究了一些她的资料，大致摸清她的星座性格之后，得出了重建XDB的大致流程。以下是把我的研究过程与大家一起分享：首先，就我的理解，和大家简单说说XDB是啥东东。根据官档的概述： XDB又叫XML DB,主要的作用是用来高效率地处理XML类型的数据，提供本地的XML支持，包含存储
转载
2024-03-18 20:00:35
55阅读
K-means 聚类算法：K-means聚类算法 算法流程，我们首先有训练集，但是训练集我们没有类标签，我们想把数据聚类成一些cluster ，这是一种无监督学习方法。具体步骤：1. 首先初始化cluster centroid 2. 迭代的找每一个数据集点到最近cluster centroid，然后把该点给到最近cluster centroid所在的cluster，然后在更新cluster cen
转载
2024-06-11 16:44:50
46阅读
比赛怎么做的（先说解决的问题，属于回归还是二分类问题，KS曲线是什么含义，能优化吗（用AUC代替）） KS值：用真正率和假正率的累计值分别做为纵坐标就得到两个曲线，这就是K-S曲线。
传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。 传统GBDT在优化时只用到一阶导数信
转载
2024-08-07 21:18:42
64阅读
1.逻辑回归逻辑回归是一种线性回归模型,它假设数据服从伯努力分布(二项分布,0-1分布),通过极大似然估计,运用梯度下降方法(牛顿法) 求解,进而达到二分类目的。逻辑回归与线性回归有很多相似之处，去除Sigmoid映射函数的话，逻辑回归算法就是一个线性回归。逻辑回归以线性回归理论作为支持。由于引入了Sigmoid函数，可以处理非线性问题，因此可以轻松处理0/1分布问题。2.伯努利(Binomial
转载
2023-07-29 12:00:38
139阅读
引言 TensorFlow 是一个采用数据流图，用于数值计算的开源软件库。它是一个不严格的“神经网络”库，可以利用它提供的模块搭建大多数类型的神经网络。它可以基于ＣＰＵ或ＧＰＵ运行，可以自动使用ＧＰＵ，无需编写分配程序，主要支持Python编写。MNIST 是一个巨大的手写数字数据集，被广泛应用于机器学习识别领域。MNIST有60000张训练集数据和10000张测试集数据，每一个训练元素都是28*
转载
2024-08-03 15:37:23
30阅读
一、主要内容1、线性回归高斯分布极大似然最小二乘梯度下降2、logistic回归分类问题的首选算法二、线性回归1、线性回归定义回归模型描述的是一个因变量(Y)和一个或多个自变量之间(X)的关系，而线性回归描述的是不同的自变量对因变量都有不同的作用效果我们称作权重（θ）,并且他们对因变量产生的影响都是线性可加的，可以描述为：直白说就是通过拟合自变量与因变量之前的线性关系，将自变量的值传入模型中得到因
转载
2024-08-11 15:20:04
39阅读
day01 - JS高级语法（一）01 - 全局变量_局部变量定义：
定义在function外部的变量：全局变量定义在function内部的变量：局部变量定义在function内部，但没有var的变量也是，适合公用的变量使用场景
全局：很少，一直常驻内存中不易销毁，容易出现命名冲突，适合公用的变量局部：函数执行完毕02 - 作用域链var point = 30;
fun
1.Bootstap的使用模板<!DOCTYPE html>
<html lang="zh-CN">
<head>
<meta charset="utf-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewpo
转载
2024-10-08 20:37:33
29阅读
import random
import torch
from d2l import torch as d2l
# 根据带有噪声的线性模型构造一个人造数据集
def synthetic_data(w, b, num_examples):
"""生成 y = Wx + b + 噪声"""
X = torch.normal(0, 1, (num_examples, len(w)))
“回归分析”是解析“注目变量”和“因于变量”并明确两者关系的统计方法。此时，我们把因子变量称为“说明变量”，把注目变量称为“目标变量址(被说明变量)”。清楚了回归分析的目的后，下面我们以回归分析预测法的步骤来说明什么是回归分析法：1．根据预测目标，确定自变量和因变量明确预测的具体目标，也就确定了因变量。如预测具体目标是下一年度的销售量，那么销售量Y就是因变量。通过市场调查和查阅资料，寻找与预测目标
转载
2023-08-20 15:16:49
195阅读
