目录1、数据采集2、数据是否服从正态分布3、T检验（T Test）4、方差分析（ANOVA）5、卡方检验（Chi-square Test）6、灰色关联度分析（Grey Relation Analysis，GRA）7、弗里德曼检验（Friedman Test）8、箱图（Box）1、数据采集1、数据分类定性观察、访谈、调查定量手动测量、自动测量、问卷打分主观等级、排序、感觉、有用性客观时间、数量、错误
Lesson One 2018-04-17 19:50:35 JAVA语言特点： 编译型、强类型语言。 纯面向对象的语言，所有的代码都必须包含在class中的方法中 配置JAVA环境变量 1.安装JDK 2.我的电脑--->属性--->高级系统设置--->高级--->环境变量 3.
转载
2024-06-11 18:09:16
41阅读
1.背景介绍回归分析是一种常用的统计方法，用于预测因变量的值，以及确定因变量与自变量之间的关系。在实际应用中，我们经常会遇到高维数据集，这些数据集中的因变量和自变量数量可能非常大。在这种情况下，传统的回归分析方法可能会遇到过拟合的问题，导致模型的泛化能力降低。为了解决这个问题，我们需要一种更加有效的回归分析方法，这就是LASSO回归发展的背景。LASSO(Least Absolute Shrink
转载
2024-08-22 09:41:06
187阅读
机器学习 第五课 逻辑回归概述逻辑回归应用领域逻辑回归 vs 线性回归基本定义输出类型函数关系误差计算使用场景数据分布逻辑回归的数学原理Sigmoid 函数多数几率似然函数逻辑回归损失函数正则化L1 正则化L2 正则化L1 vs L2 实例标准化为什么要标准化?如何进行标准化?梯度下降工作原理梯度下降的公式梯度下降的变种学习率前向传播 vs 反向传播前向传播反向传播手把手计算回归前向传播反向传播
转载
2024-08-27 11:09:20
92阅读
背景：在拿到的数据里，经常有分类型变量的存在，如下： 球鞋品牌：Nike、adidas、 Vans、PUMA、CONVERSE 性别：男、女 颜色：红、黄、蓝、绿 However,sklearn大佬不能直接分析这类变量呀。在回归，分类，聚类等机器学习算法中，特征之间距离的计算或相似度的计算是算法关键部分，而常用的距离或相似度的计算都是在欧式空间的相似度计算，计算余弦相似性，基于的就是欧式空间。于是
转载
2024-07-25 20:28:34
50阅读
MLlib支持二分类，多酚类和回归分析的多种方法，具体如下：问题类别 支持方法二分类线性支持向量机， 逻辑回归，决策树，朴素贝叶斯多分类决策树，朴素贝叶斯回归线性最小二乘，Lasso，ridge regression， 决策树 线性模型
二分类（支持向量机， 逻辑回归）线性回归（最小二乘，Lasso， ridge)决策树朴素贝叶斯 线性模型
转载
2024-08-14 21:51:13
106阅读
Task03 基于鸢尾花iris数据集的逻辑回归分类实践一、学习内容概括掌握基于鸢尾花数据集的逻辑回归分类预测。二、具体学习内容1 库函数导入## 基础函数库
import numpy as np
import pandas as pd
## 绘图函数库
import matplotlib.pyplot as plt
import seaborn as sns导入一些基础的函数库包括：num
文章内容均来自斯坦福大学的Andrew Ng教授讲解的Machine Learning课程，本文是针对该课程的个人学习笔记，如有疏漏，请以原课程所讲述内容为准。感谢博主Rachel Zhang 的个人笔记，为我做个人学习笔记提供了很好的参考和榜样。 § 2. 多变量线性回归 Linear Regression with Mult
转载
2024-03-28 22:08:00
492阅读
目录LASSOsklearn----LASSO回归代码实现弹性网sklearn----弹性网回归代码实现LASSO此算法通过构造一个一阶惩罚函数获得一个精炼的模型，通过最终确定一些指标（变量）的系数为0（岭回归估计系数等于0的概率微乎其微，造成筛选变量困难），解释力很强。LASSO算法擅长处理具有多重共线性的数据，与岭回归一样是有偏估计。岭回归代价函数：LASSO代价函数： LASSO回
转载
2024-03-15 13:25:30
61阅读
简单解释：分类和回归的区别在于输出变量的类型。定量输出称为回归，或者说是连续变量预测；定性输出称为分类，或者说是离散变量预测。举个例子： 预测明天的气温是多少度，这是一个回归任务； 预测明天是阴、晴还是雨，就是一个分类任务。分类模型和回归模型本质一样，分类模型可将回归模型的输出离散化（下面例子1. 2. 4. 5.），回归模型也可将分类模型的输出连续化（下面例子3.）举几个例子:Logistic
转载
2024-05-26 15:31:36
105阅读
注：正则化是用来防止过拟合的方法。在最开始学习机器学习的课程时，只是觉得这个方法就像某种魔法一样非常神奇的改变了模型的参数。但是一直也无法对其基本原理有一个透彻、直观的理解。直到最近再次接触到这个概念，经过一番苦思冥想后终于有了我自己的理解。 0. 正则化（Regularization ）前面使用多项式回归，如果多项式最高次项比较大，模型就容易出现过拟合。正则化是一种常见的防止
Lasso 是估计稀疏系数的线性模型. 在某些场景下适用，因为它倾向于使用具有较少参数值的解决方案, 有效减少给定解所依赖的变量数. 为此，Lasso 及其变体是 compressed sensing ( 压缩感知领域 ) 的基础. 在某些条件下，它可以恢复精确的非零权重集(参见 Compressive sensing: tomogra
转载
2024-02-10 20:59:09
559阅读
在肿瘤数据挖掘中，单变量cox分析（单因素cox分析）和多变量cox分析（多因素cox分析）是非常重要的一个环节。他们的目的到底是什么了，之前看到他们在答疑群中经常群主会回复这么一句，你用几万个基因做多变量cox分析吗？这个肯定是不行？为此，我特意查了一下，这里的单变量cox分析是为了筛选单个基因与预后的关系，这里是可以选择用几万个基因进行盲筛的。很多文章是怎么做的呢？1、通过差异分析筛选疾病（肿
前言 今天讲一下这个困惑我很久的Lambda。为什么这么说呢？因为我之前一直没主动去学过Lambda。很多使用Lambda表达式的代码我都没有仔细去琢磨咋回事。但是最近这个Lambda表达式出现的有些频繁，有点影响我接下来的学习了，于是我就去学了一下。我也是刚学完就来总结了，也算是巩固一下。当然我也希望这篇文章能帮到更多准备学Lambda同学。 这篇文章我会用很多通俗易懂的例子来教大家如何使
转载
2024-07-29 19:10:39
155阅读
逻辑回归的多分类问题——识别手写数字了解.mat文件读取数据划分集合测试图片损失函数认识Scipy.iptimize.minimze优化函数梯度向量优化函数 了解.mat文件.mat文件是属于matlab的文件，具体有什么特点和属性还不知道，但对于本题中我们需要去读取，要用到python中的Scipy库下的loadmat模块吧应该，去读取.mat文件。读取数据划分集合import numpy a
转载
2024-06-03 16:30:00
156阅读
本系列所有的代码和数据都可以从陈强老师的个人主页上下载：Python数据程序参考书目：陈强.机器学习及Python应用. 北京：高等教育出版社, 2021.本系列基本不讲数学原理，只从代码角度去让读者们利用最简洁的Python代码实现机器学习方法。惩罚回归介绍惩罚回归听着很奇特，其实就是普通的最小二乘回归的损失函数后面加了一个惩罚项，从而可以让模型的系数变小，即系数收缩，降低模型的复杂性，防止过拟
转载
2024-05-13 14:17:58
102阅读
岭回归与Lasso回归模型01 线性回归模型的短板背景知识根据线性回归模型的参数估计公式可知，得到β的前提是矩阵可逆，但在实际应用中，可能会出现自变量个数多于样本量或者自变量间存在多重共线性的情况，即的行列式为0。此时将无法根据公式计算回归系数的估计值β。02 岭回归与Lasso回归的系数求解岭回归模型为解决多元线性回归模型中可能存在的不可逆问题，统计学家提出了岭回归模型。该模型解决问题的思路就是
转载
2024-05-13 13:21:14
92阅读
回归模型集成学习笔记02 集成学习笔记02线性回归模型 回归这个概念是19世纪80年代由英国统计学家郎西斯.高尔顿在研究父子身高关系提出来的，他发现：在同一族群中，子代的平均身高介于父代的身高以及族群的平均身高之间。具体而言，高个子父亲的儿子的身高有低于其父亲身高的趋势，而矮个子父亲的儿子身高则有高于父亲的身高的趋势。也就是说，子代的身高有向族群平均身高"平均"的趋势，这就是统计学上"回归"的最
转载
2024-04-03 09:02:00
62阅读
我们导入glmnet包的时候可以看到，还需要导入一个Matrix包，说明这个矩阵包很重要 按照glmnet包的原文如下： 就是告诉我们，除了Cox Model外，其他的表达都支持矩阵形式，在Cox Model的介绍中， 函数样式为 说明我们应该把其他变量变为矩阵的形式。这样说得不是很明白，下面我们来举个例子说明，继续使用我们的乳腺癌数据（公众号回复：乳腺癌，可以获得数据）我们先导入数据和R包li
转载
2023-08-21 10:18:50
1184阅读
前文我们诊断出三个自变量之间存在严重共线性，那么，我们先使用岭回归，进行建模，然后，使用lasso回归。岭回归，是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。先使用R语句如下：install.packages('ridge')
l
转载
2024-05-09 19:40:42
85阅读
