在机器学习问题中，我们根绝解决的问题将机器学习算法归纳为三类：回归（regression）问题、分类（classification）问题及聚类（clustering）问题。作为机器学习三大解决的三大问题之一的回归问题，前辈们做了很多深入的研究，尤其是回归问题的两类难点问题（多重共线性及特征选择），在此随笔中，我主要根据prml开篇对多项式曲线拟合的试验，讨论影响回归模型泛化能力的两种因素及处理
准确率 - accuracy精确率 - precision召回率 - recallF1值 - F1-scoreROC曲线下面积 - ROC-AUC （area under curve）PR曲线下面积 - PR-AUC1 、aucAUC（Area Under Curve）被定义为ROC曲线下与坐标轴围成的面积，这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值
1、线性回归线性回归输出是一个连续值，因此适用于回归问题。回归问题在实际中很常见，如预测房屋价格、气温、销售额等连续值的问题。与回归问题不同，分类问题中模型的最终输出是一个离散值。我们所说的图像分类、垃圾邮件识别、疾病检测等输出为离散值的问题都属于分类问题的范畴。softmax回归则适用于分类问题。由于线性回归和softmax回归都是单层神经网络，它们涉及的概念和技术同样适用于大多数的深度学习模型
转载
2024-05-18 09:36:39
79阅读
文章目录Log一、分类问题（Classification problems）1. 分类问题的例子2. 正类和负类3. 分类问题中不用线性回归二、假设表示（Hypothesis representation）1. Sigmoid 函数2. 模型解释三、决策边界（Decision boundary）1. 判断 y 何时取到边界值2. 多个特征量下的函数图像①简单例子②复杂例子四、代价函数（Cost
统计学习方法是基于训练数据构建统计模型，从而对数据进行预测和分析。 统计学习分为，监督学习（supervised learning），非监督学习，半监督学习和强化学习（reinforcement learning），其中以监督学习最为常见和重要，所以这里只讨论监督学习统计学习的过程如下， 1. 获取训练数据集合 2. 确定假设空间，即所有可能的模型的集合 3. 确定模型选择的准则（什么是最优模型的
1.逻辑回归简介 逻辑回归（logistic regression）是机器学习模型中的基础模型，周志华老师的书中翻译为对数几率回归。很多模型都涉及到逻辑回归，比如SVM、GBDT、AdaBoost等。虽然名字当中有“回归”两个字，但是逻辑回归是用于分类，它可以理解为线性函数和一单调可微函数组成的复合函数。常用的单调
1.背景介绍随着数据量的增加，机器学习和数据挖掘技术的应用也日益广泛。回归问题是机器学习中最常见的问题之一，它涉及预测连续值的问题。特征选择是解决回归问题时的一个关键步骤，它涉及选择与目标变量相关的特征，以提高模型的准确率和性能。在这篇文章中，我们将讨论特征选择与回归问题的关系，以及如何提高模型准确率的方法和算法。2.核心概念与联系2.1 回归问题回归问题是预测连续值的问题，如房价、股票价格等。回
本文介绍了 10 大常用机器学习算法，包括线性回归、Logistic 回归、线性判别分析、朴素贝叶斯、KNN、随机森林等。1. 线性回归在统计学和机器学习领域，线性回归可能是最广为人知也最易理解的算法之一。预测建模主要关注的是在牺牲可解释性的情况下，尽可能最小化模型误差或做出最准确的预测。我们将借鉴、重用来自许多其它领域的算法（包括统计学）来实现这些目标。线性回归模型被表示为一个方程式，
准确率，精准率，召回率分类问题中的混淆矩阵如下 TP： 预测为1，预测正确，即实际1FP： 预测为1，预测错误，即实际0FN： 预测为0，预测错确，即实际1TN： 预测为0，预测正确即，实际0准确率 accuracy准确率的定义是预测正确的结果占总样本的百分比，其公式如下： 准确率=(TP+TN)/(TP+TN+FP+FN) 虽然准确率可以判断总的正确率，但是在样本不平衡 的情况下，并不能作为很好
转载
2024-05-11 22:22:13
350阅读
数据挖掘、机器学习和推荐系统中的评测指标—准确率(Precision)、召回率(Recall)、F值(F-Measure)简介。一、分类问题评测指标（二元分类器为例）： 混淆矩阵True Positive(真正，TP)：将正类预测为正类数True Negative(真负，TN)：将负类预测为负类数False Positive(假正，FP)：将负类预测为正类数误报 (Type I error)Fal
转载
2024-05-02 11:31:14
440阅读
一、Scikit Learn中使用estimator三部曲1. 构造estimator2. 训练模型：fit3. 利用模型进行预测：predict 二、模型评价模型训练好后，度量模型拟合效果的常见准则有：1. 均方误差（mean squared error，MSE）：2.  
自然语言处理(ML),机器学习(NLP),信息检索(IR)等领域,评估(evaluation)是一个必要的工作,而其评价指标往往有如下几点:准确率(accuracy),精确率(Precision),召回率(Recall)和F1-Measure。本文将简单介绍其中几个概念。中文中这几个评价指标翻译各有不同，所以一般情况下推荐使用英文。 现在我先假定一个具体场景作为例子：假如某个班级有男生8
转载
2024-01-16 20:44:17
697阅读
0、纳什系数NSE(Nash–Sutcliffe efficiency coefficient):用于评价模型质量的一个评价参数,一般用以验证水文模型模拟结果的的好坏，也可以用于其他模型。公式如下： 公式中Qo指观测值,Qm指模拟值,Qt（上标）表示第t时刻的某个值,Qo(上横线)表示观测值的总平均.E取值为负无穷至1,E接近1,表示模型质量好,模型可信度高；E接近0,表示模拟结果接近观测值的平均
线性回归问题可以利用最小二乘法来确定误差，通过使误差最小化来确定线性方程的系数，而最小化可以通过求导来确定。非线性方程可以通过变量替换等方式转化为线性方程广义线性模型可以用于对离散取值变量进行回归建模，在广义线性模型中，因变量Y的变化速率是Y均值的一个函数，常见的广义线性模型有：对数回归：利用一些实际发生的概率作为自变量所建立的线性回归模型泊松回归模型：主要是描述数据出现次数的模型，因为它们常常表
转载
2024-03-18 14:39:22
44阅读
数据分析中的回归准确率是一个重要指标，它衡量了模型在预测数值时的精确度。本篇文章将从环境预检、部署架构、安装过程、依赖管理、配置调优和扩展部署几个方面，详细阐述在回归分析中如何提高准确率的流程。
## 环境预检
在进行数据分析之前，需要先对环境进行预检。这里我们使用四象限图和兼容性分析来确保工具与环境的匹配程度。
```mermaid
quadrantChart
title 数据分析
李宏毅老师用了一个比较易懂的demo例子来讲解我们在实际中做regression的时候会遇到哪些困难，我们如何解决，以下是李老师在课堂上的详细demo课程。一.matplotlib是基于Python语言的开源项目，旨在为Python提供一个数据绘图包。import numpy as np
import matplotlib.pyplot as plt二.traning data# traning
转载
2024-09-05 15:37:16
87阅读
训练集、测试集、验证集训练集：用于进行模型拟合的数据；验证集： 是模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估；测试集：用来评估模最终模型的泛化能力；注意：测试集不能作为调参、选择特征等算法相关的选择的依据。简记为：训练集是日常的学习，验证集是模拟考，测试集是高考。误差：学习器的预测输出与样本的真实输出之间的差异；训练误差：学习器在训练集上的误差；泛化误
基于回归模型的协同过滤推荐如果我们将评分看作是一个连续的值而不是离散的值，那么就可以借助线性回归思想来预测目标用户对某物品的评分。其中一种实现策略被称为Baseline（基准预测）。Baseline：基准预测Baseline设计思想基于以下的假设：有些用户的评分普遍高于其他用户，有些用户的评分普遍低于其他用户。比如有些用户天生愿意给别人好评，心慈手软，比较好说话，而有的人就比较苛刻，总是评分不超过
在上一篇博客中，介绍了评价回归算法的优劣这样的三个指标：MSE，RMSE，MAE。其实这些指标还有它的问题。回忆一下，我们在学习分类问题的时候，我们评价分类问题的指标非常的简单，就是分类的准确度（accuracy），对于分类的准确度来说，它的取值是在0-1之间的，如果是1，代表它的分类准确度是百分百准确的，是最好的，如果是0，是最差的，这个评价标准是非常清晰的，因为分类的准确度就是在0-1之间
转载
2024-03-31 22:37:05
371阅读
准确率：正确的数量除以总数量准确率（accuracy），是一个用来衡量分类器预测结果与真实结果差异的一个指标，越接近于1说明分类结果越准确。举个例子，比如现在有一个猫狗图片分类器对100张图片进行分类，分类结果显示有38张图片是猫，62张图片是狗，经与真实标签对比后发现，38张猫的图片中有20张是分类正确的，62张狗的图片中有57张是分类正确的，那么准确率是多少呢？显然就应该是 （20+57）/1
转载
2023-10-26 12:27:09
580阅读
