提高机器学习模型性能的五个关键方法1. 数据预处理2. 特征工程3. 机器学习算法4. 模型集成与融合5. 数据增强以下是各个方面的具体分析和方法：[ 说明：1、这里主要是各个关键方法的知识汇总梳理，便于集中学习，具体的实际应用内容后续单独写。 2、参考整理了很多大拿的文章和资料，但忘了记录来处，如有不适当转载的，请留言，我看到后第一时间删除。 ]第一部分：数据预处理 &nb
一、明确需求（因变量y）二、数据清洗缺失值处理异常值处理：一般大于3倍标准差的值视为异常值分类变量的处理：将分类变量改为多列进行处理备注：异常值一般不要直接处理，了解一下是什么情况再行处理，有必要的单独拎出来三、相关分析每个自变量x都和y跑一下相关系数，画个散点图，肉眼判断一下相关性，初步筛选适合放到模型里的自变量四、分割测试集和训练集一般为三七分或者是二八分五、针对训练集跑回归模型并检验初步筛选
转载
2024-02-26 18:29:55
113阅读
三大」最常见机器学习任务：回归方法分类方法聚类方法 分类问题和回归问题是监督学习的两大种类（无监督学习中有聚类算法） 其实回归问题和分类问题的本质一样，都是针对一个输入做出一个输出预测，其区别在于输出变量的类型。 分类问题是指，给定一个新的模式，根据训练集推断它所对应的类别（如：+1，-1），是一种定性输出，也叫离散变量预测； 回归问题是指，给定一个新的模式，根据训练集推断它所对应的输出值（
转载
2024-10-02 22:45:05
48阅读
机器学习算法及代码实现–回归算法1 线性回归线性回归假设特征和结果满足线性关系。其实线性关系的表达能力非常强大，每个特征对结果的影响强弱可以由前面的参数体现，而且每个特征变量可以首先映射到一个函数，然后再参与线性计算。这样就可以表达特征与结果之间的非线性关系。
假设有一个房屋销售的数据如下： 我们可以做出一个图，x轴是房屋的面积。y轴是房屋的售价，如下： 我们用X1，X2..Xn 去描述fea
转载
2024-03-28 09:42:48
245阅读
线性回归在进行优化的过程中，有正规方程和梯度下降两种方法，这两种方法都可以对权重进行更新，但同时也都有各自的优缺点。 sklearn库中有两种算法的封装，API分别为：sklearn.linear_model.LinearRegression：正规方程（最小二乘法）sklearn.linear_model.SGDClassifier：梯度下降 以波士顿房价预测为例进行两种算法的比较。实例1、导入库
转载
2024-04-10 13:10:10
73阅读
前言：本教程主要使用了numpy的最最基本的功能，用于生成数据，matplotlib用于绘图，scikit-learn用于调用机器学习方法。如果你不熟悉他们（我也不熟悉）,没关系，看看numpy和matplotlib最简单的教程就够了。我们这个教程的程序不超过50行1. 数据准备为了实验用，我自己写了一个二元函数，y=0.5*np.sin(x1)+ 0.5*np.cos(x2)+0.1*x1+3。
实验5：完全基于数据挖掘的方法建模预测2021年10月11日在前几个实验过程中，Dr.Li说有大约45个数据特征需要直接删除(基于人工经验的特征选择)，作为一个没有任何领域专家所具备的经验知识的菜鸡，甚``是不解，如何判断传感器坏了(需要去现场)，为什么说这些特征需要直接删除？这里通过特征工程的方法进行验证。实验思路：数据载入、预处理；没有多少的预处理过程；箱线图、散点图矩阵、heatmap、特征
几个基本概念为了接下来的讲解方便，这里先告诉大家几个基本概念。1回归问题与分类问题回归(regression)与分类(classification)是机器学习中的两大类问题。上面我们举的计算圆形面积的例子就属于回归问题，即我们的目的是对于一个输入x，预测其输出值y，且这个y值是根据x连续变化的值。分类问题则是事先给定若干个类别，对于一个输入x，判断其属于哪个类别，即输出一般是离散的，比如本课程将会
转载
2023-11-06 16:52:26
53阅读
通过TensorBoard将TensorFlow模型的训练过程进行可视化的展示出来，将训练的损失值随迭代次数的变化情况，以及神经网络的内部结构展示出来，以此更好的了解神经网络。一、 建立图 通过添加一个标量数据和一个直方图数据到log文件里，然后通过TensorBoard显示出来，第一步加到summary,第二步写入文件。 将模型的生成值加入到直方图数据中（直方图
转载
2024-05-08 10:16:38
48阅读
标记整理算法的是标记清除算法的基础上有做了‘整理’阶段的操作。也可以看做是标记清除算法的优化。标记清除算法与标记整理算法步骤对比：标记清除：标记-清除标记整理：标记--整理-清除有关标记清除算法的思想原理请参阅：【JVM】垃圾回算法-标记清除算法在前几篇关于垃圾回收算法中，标记复制算法可以说是似乎很完美了，但在真实情况下，有部分地方的对象回收如果使用标记复制算法还是不行的，比如说老年代中的对象。标
data = datasets.load_digits()
X_data = X_data.reshape((X_data.shape[0], X_data.shape[1], X_data.shape[2], 1)) //
y_data = to_categorical(y_data) //将类别向量转换为二进制（只有0和1）的矩阵类型表示，其表现为将原有的类别向量转换为独热编码的形式。
#
转载
2024-06-28 12:59:16
97阅读
首先明确是分类而不是回归 逻辑回归的名字中虽然带有回归两个字，不过这是一个并不是一个回归算法，而是一个分类算法，他是在线性回归的基础上加入了sigmoid函数，将线性回归的结果输入至sigmoid函数中，并且设定一个阈值，如果大于阈值为1，小于阈值为0sigmoid 函数： 在图中我们可以看到 x -> -∞ 时 y 趋向与0，反之趋向于 1def sigmoid (x):
ret
全局唯一标识符（GUID，Globally Unique Identifier）是一种由算法生成的二进制长度为128位的数字标识符。GUID主要用于在拥有多个节点、多台计算机的网络或系统中。在理想情况下，任何计算机和计算机集群都不会生成两个相同的GUID。GUID 的总数达到了2^128（3.4×10^38）个，所以随机生成两个相同GU
转载
2023-11-16 20:16:19
53阅读
首先介绍图像退化、复原的一个线性模型，之后介绍噪声模型，接下来包含空间域滤波降噪和频率域降噪，介绍图像退化的线性和位置不变模型、估计退化函数的方法和基本的图像复原方法。图像退化/复原过程的模型目的：给定\(f(x,y)\)为输入图像，退化后的图像为\(g(x,y)\)，退化函数为\(H\)，加性噪声项为\(\eta(x,y)\)，得到原始图像的一个估计\(\hat{f}(x,y)\)，并且希望这个
转载
2024-05-10 20:22:46
41阅读
最近正在做信息抽取方向的工作，想要了解目前使用率高、易于落地且公认效果比较好的baseline模型，以便进行之后的相关工作。自回归(autoregressive)语言模型，如GPT，采用从左向右单向解码的方式，适用于自然语言生成（NLG）任务。非自回归(non-autoregressive)语言模型，如BERT，每个时刻的输出都可以充分利用双向信息，适用于自然语言理解（NLU）任务，但是在NLG上
转载
2024-04-07 14:22:30
62阅读
单层神经网络有线性回归和softmax回归。线性回归输出是一个连续值，因此适用于回归问题。而与回归问题不同，分类问题中模型的最终输出是一个离散值。我们所说的图像分类、垃圾邮件识别、疾病诊断等输出为离散值的问题都属于分类问题的范畴。softmax回归则适用于分类问题。下面我们依次介绍线性回归和softmax回归。一、线性回归1、模型训练设房屋面积为，房龄为，售出的价格为。我们需要建立基于输入和来计算
转载
2023-11-02 20:45:19
116阅读
逻辑回归（Logistic Regression），简称LR。它的特点是能够是我们的特征输入集合转化为0和1这两类的概率。一般来说，回归不用在分类问题上，因为回归是连续型模型，而且受噪声影响比较大。如果非要应用进入，可以使用逻辑回归。了解过线性回归之后再来看逻辑回归可以更好的理解。优点：计算代价不高，易于理解和实现缺点：容易欠拟合，分类精度不高适用数据：数值型和标称型逻辑回归对于回归问题后面会介绍
使用机器学习对图片进行分类预测，主要是要通过某种机器学习算法，对大量已知图片数据进行训练，得出相应的假设公式。具体来说，可分为下列步骤： 准备训练数据为了使机器学习具有一定的准确性，需要提供足量的训练数据。本例中，我们准备提供0~9这10个数字的手写图片总共5000张(另有500张测试图片)，并且： 每张图片都已经标记好其对应的数字值（称为“分类标签”或Label） 为了便于计算机统一处理，每张
大家好,我又回来了。今天讲一讲回归。回归算法通常用于数值的预测，但是也能用来分类（通过回归计算属于各分类的概率，取其最大者），所以 weka 把回归算法归并于 分类器标签。打开 weka 在data文件夹下找到 cpu.with.vendor.arff 文件，这就是我们用来测试的样本，加载该样本。线性回归算法切换到分类器标签，在 choose 下拉框中选择 function节点下的 LinearR
转载
2024-03-22 16:09:58
80阅读
实际生活中，很多问题都是非线性的，不可能使用全局线性模型来拟合任何数据。一种方法是将数据集切分成很多份易建模的数据，然后利用线性回归技术建模。如果首次切分后仍然难以拟合线性模型就继续切分。在这种切分方式下，树结构和回归法就相当有用。
树回归优点：可以对复杂和非线性的数据建模缺点：结果不易理解适用类型：数值型、标称型决策树构建时使用的ID3算法不能直接处
转载
2024-05-02 16:20:35
15阅读
