1、拟合 拟合是指机器学习模型在训练的过程中，通过更新参数，使得模型不断契合可观测数据(训练集)的过程。欠拟合指的是模型在训练和预测表现都不好，往往由于模型过于简单,如图(a)所示。正常模型指的是模型在训练和预测表现都好，如图 (b)所示。过拟合是指由于模型过于复杂，模型在训练集上的表现很好，但在测试集上
转载
2024-09-26 12:13:09
39阅读
分类模型：精确率（accuracy）、召回率、精确率、F值、ROC-AUC 回归模型：RMSE、MSE、MAE、SSE、R2、R2-Adjusted精确率（accuracy）：正确分类的样本/总预测样本数 Accuracy=（TP+TN）/(TP+TN+FP+FN)召回率：需召回所有真实情况为1的样本，实际按模型召回预测为1且真实的样本 （预测为1且真实的样本/所有真实为1的样本） Recall=
转载
2024-05-13 15:34:13
56阅读
引言LOGISTIC回归在信用评分卡开发中起到核心作用。由于其特点，以及对自变量进行了证据权重转换（WOE）,LOGISTIC回归的结果可以直接转换为一个汇总表，即所谓的标准评分卡格式。通常，LOGISTIC回归可以用一个名义或顺序因变量的建模。然而，本书仅限于介绍二元因变量的情况，因为这是大多评分卡申请的情况。本章将介绍LOGISTIC回归的基本公式，用于建立模型的PROC LOGISTIC的主
转载
2024-04-18 14:22:32
121阅读
car中的函数相比于R基础提供的评价模型拟合情况，car包中提供了大量函数，大大增强了拟合和评价回归模型的能力函数 目的qqplot() 分位数比较图durbinWatsonTest()对误差自相关性做Durbin-Watson检验crPlots() 成分与残差图
转载
2024-09-27 17:10:36
69阅读
其中，i是第几个样本，j是第几个特征 其中，alpha是步长（学习率），后边是方向The Data 我们将建立一个逻辑回归模型来预测一个学生是否被大学录取。假设你是一个大学系的管理员，你想根据两次考试的结果来决定每个申请人的录取机会。你有以前的申请人的历史数据，你可以用它作为逻辑回归的训练集。对于每一个培训例子，你有两个考试的申请人的分数和录取决定。为了做到这一点，
转载
2024-07-25 19:19:55
47阅读
Logistic回归是一种用于探索分类响应变量与一个或多个分类或连续预测变量之间的关系的方法。 该模型通常以以下格式表示，其中β表示参数，x表示自变量。log(odds)=β0+β1∗x1+...+βn∗xnTable of ContentsLogistic Regression ExampleModel Evaluation and DiagnosticsGoodness of FitStati
转载
2024-05-13 10:30:47
688阅读
Ridge回归模型最近做项目用到岭回归模型，特地来记录一下整个岭回归模型的原理和代码。
以后会将用到的机器学习模型算法都记录下来。1、Ridge 回归原理多元线性回归计算回归系数的时候回归系数的计算如下： 学过线性代数的都知道，以上式子β存在的前提是X’X可逆。 但是可能会出现自变量个数多于样本数，或者多重共线性使得X’X行列式为0。此时β不存在。 为了避免β不存在的情况，觉得加上一个L2正则项。
转载
2024-04-22 19:19:31
235阅读
LR中检查点有两种：图片和文字。这两种检查点可用以下三个函数实现：web_find()、web_reg_find()和web_image_check()下面分别介绍三种函数的用法1.web_find()函数函数作用：在页面中查找相应的内容参数举例：web_find("web_find","RighOf=a","LeftOf=b","What=name",LAST);参数解释："web_find"定
在《机器学习---最小二乘线性回归模型的5个基本假设（Machine Learning Least Squares Linear Regression Assumptions）》一文中阐述了最小二乘线性回归的5个基本假设以及违反这些假设条件会产生的后果。那么，我们怎么检测出是否有违反假设的情况出现以及如何解决出现的问题呢？（注：内生性的问题比较复杂，这里暂时略过。） 非线性的检测1，残差
在第1章中，您了解了数据科学家的角色如何类似于一位小提琴手，他使用他的管弦乐队和乐器合奏来创作一首优美的乐曲。同样，如果数据科学家想从他的数据和模型中挤出世界级的性能，他可以使用多种集成工具。在本章中，主要目标是学习混合训练数据以获得集成模型的不同方法。以下是本章的目标。建立对混合训练数据如何在集成学习中取得良好表现的直观理解引入决策树查看使用 scikit-learn 的决策树实现示例引入随机森
转载
2024-05-12 15:54:19
64阅读
回归分析回归分析的概念这里不多说了，她是一个很常见的机器学习算法。使用场景多，多数情况下，就是调包，进行函数和数据的套入，然后得出各变量之间的参数。最后预测出一个结果。。标准误差标准误差是回归直线，即估计值和实际因变量值的平均平方误差。表示是SE。可决系数可决系数是衡量因变量和自变量直接关系密切程度的指标，表示自变量解释因变量变动的百分比。它取值范围是0到1之间。也叫拟合优度检验，系数...
原创
2021-06-11 16:05:51
748阅读
1. 引言在机器学习的监督学习中最常用的算法就是回归算法，而线性回归又是其中之一2. 一元线性回归模型（单特征值）上式即使我们数学中最常见的一元一次方程了，这里的函数对应的就是我们的模型。 我们模型的目标即是通过对数据的训练得到最佳 (w,b) 组合，然后就可以通过该模型来预估任意给定的3. 代价函数理想情况下，我们所有的数据集可以连接成一条线。但是由于实际数据集庞大且分布无规律，所以无法达成这一
混淆矩阵True Positive(TP)：将正类预测为正类数True Negative(TN)：将负类预测为负类数False Positive(FP)：将负类预测为正类数False Negative(FN)：将正类预测为负类数准确率(accuracy)计算公式\[acc = \frac{TP + TN}{TP + TN + FP + FN}
\]解释
对于样本，模型对于正负预测的准确率。精确率（
逻辑回归模型逻辑回归模型是一种分类模型，由条件概率分布P(Y|X) 表示，形式为参数化的逻辑分布，这里，随机变量X取值为实数，随机变量Y取值为1或0。在学习逻辑回归时大家总是将线性回归作比较，线性回归模型的输出一般是连续的，在线性回归模型中每一个输入x,都有一个对应的y输出。模型的定义域和值域都可以是[-∞, +∞]。但是逻辑回归输入可以是连续的[-∞, +∞],输出却一般是离散的，即只有有限个多
转载
2024-10-30 11:08:53
36阅读
回归模型评价体系SSE(误差平方和)：R-square(决定系数)Adjusted R-square：分类模型评价体系 一 ROC曲线和AUC值二 KS曲线三 GINI系数四 Lift , Gain
五 模型稳定度指标PSI1.回归模型评价体系回归模型的几个评价指标 对于回归模型效果的判断指标经过了几个过程，从SSE到R-square再到Ajusted R-square, 是一个完善的过程：SS
转载
2024-01-17 05:54:09
113阅读
第一章-机器学习概论引言机器学习( )这一学科诞生于人工智能的中，它是计算机的一种新的能力，不同于通常的任务，例如编写程序实现一个文件管理系统，或许你需要分层的分模块的去实现它，但它总还是可以使用确定的程序逻辑去表达的，机器学习面对的任务通常是需要收集分析大量来自生活（自然、社会）中的数据，换句话说，机器学习就是用数据编程。例如给一张图片，人依据经验能够很快判断出图中是否有一只猫，那么我们能否按照
文章目录前言一、实验准备二、实验内容三、实验注意事项四、实验源码五、实现结果总结 前言机器学习中线性回归模型也能解决许多问题，对大量的观测数据进行处理，从而得到比较符合事物内部规律的数学表达式。也就是说寻找到数据与数据之间的规律所在，从而就可以模拟出结果，也就是对结果进行预测。解决的就是通过已知的数据得到未知的结果。例如：对房价的预测、判断信用评价、电影票房预估等。今天就来分享一下线性回归模型的
转载
2024-05-07 11:02:21
109阅读
模型的假设检验(F与T)F检验：提出原假设和备择假设 然后计算统计量与理论值 最后进行比较F检验主要是用来检验模型是否合理的代码：# 导入第三方模块
import numpy as np
# 计算建模数据中因变量的均值
ybar=train.Profit.mean()
# 统计变量个数和观测个数
p=model2.df_model
n=train.shape[0]
# 计算回归离差平⽅和
RSS=
转载
2021-10-24 12:39:00
209阅读
平时，可以借助计算机来判定一篇文章是否是体育类的新闻，或者是艺术类的新闻。因此我们可以借助线性回归模型对其进行判定。当然这个数学模型有多种实现手段，比如用分类器，随机梯度下降，感知机等机器学习模型进行判定，这里我们就不用展示了，直接用社会工业界所接受的方法来进行研究，因为自己用上述的方法只有科研才会用到，对于最基本的要求而言只需要知道如何使用这些模型就行了。
【实验目的】理解逻辑回归算法原理，掌握逻辑回归算法框架；理解逻辑回归的sigmoid函数；理解逻辑回归的损失函数；针对特定应用场景及数据，能应用逻辑回归算法解决实际分类问题。【实验内容】1.根据给定的数据集，编写python代码完成逻辑回归算法程序，实现如下功能：建立一个逻辑回归模型来预测一个学生是否会被大学录取。假设您是大学部门的管理员，您想根据申请人的两次考试成绩来确定他们的入学机会。您有来自
转载
2024-10-07 16:03:54
50阅读
