A Survey of Optimization Methods from a Machine Learning Perspective 原文地址：https://arxiv.org/abs/1906.06821 Abstract摘要机器学习发展迅速，在理论上取得了许多突破，并广泛应用于各个领域。优化作为机器学习的重要组成部分。随着数据量的指数增长和模型复杂性的增加，机器学习中的
机器学习的一些概念有监督数据集有标签，包括：分类、回归无监督数据集无标签，包括：聚类泛化能力数据迁移的能力过拟合、欠拟合（方差和偏差以及各自解决办法）含义偏差/方差解决办法欠拟合模型不能很好地拟合数据高偏差（high bias）使用更强的模型过拟合模型过度拟合数据，泛化能力不足高方差（high variance）正则化、dropout交叉验证在训练集中分出一部分，作为测试来测试性能，以调节超参数线
我们花了两篇文章的篇幅，建立了一个神经网络来识别手写图像，看起来效果相当不错，超过95%的正确率，实际上如果第二层使用100个隐藏神经元的时候，准确率可以再提升一个百分点。在这个过程中我们主要使用了随机梯度下降算法和反向传播算法，并且从原理到实现，都走了一遍。
现在作者给了我们一个练习，有这么一个神经网络，只有一个输入神经元，一个输出神经元，所以他只有一个w和一个b值，现在输入值x是1，期望的输
解决普通最小二乘法拟合过度的一种方法。
在线性回归问题中比较常用的一种算法就是最小二乘法(OLS),其核心思想是:通过最小化误差的平方和寻找数据的最佳函数匹配。但是普通的OLS最常见的一个问题是容易过度拟合：即在样本数据集上属性值(x)和目标值(y)是一一对应的。这样的结果看似拟合效果很好，但是在新数据集上的误差却
转载
2024-06-20 16:32:31
70阅读
在分类问题中，交叉熵的本质就是【对数】似然函数的最大化逻辑回归的损失函数的本质就是【对数】似然函数的最大化最大似然估计讲解： https://www.jianshu.com/p/191c029ad369参考统计学习方法笔记 P79softmax 通过Softmax回归，将logistic的预测二分类的概率的问题推广到了n分类的概率的问题。通过公式 softmax损失函
转载
2024-05-06 22:03:46
87阅读
前言回归与分类是机器学习中的两个主要问题，二者有着紧密的联系，但又有所不同。在一个预测任务中，回归问题解决的是多少的问题，如房价预测问题，而分类问题用来解决是什么的问题，如猫狗分类问题。分类问题又以回归问题为基础，给定一个样本特征，模型针对每一个分类都返回一个概率，于是可以认为概率最大的类别就是模型给出的答案。但有时模型给出的每一类的概率并不满足概率的公理化定义，这时就要用到softmax回归。交
转载
2024-04-06 13:35:16
58阅读
Focal Loss在二分类问题中，交叉熵损失定义如下： 表示真实值，取值0与1，表示模型预测正类的概率，取值0到1。为了表述方便，将上述公式重新表述为： 对于类别不平衡问题，我们可以为每个类别加不同的权重，使得每个类别对总损失的贡献程度有差异，如下所示， 表示每个类的权重值，一般可取值“类样本数的逆频数”。 与类加权的思想非常相似，Focal Loss 在交叉熵损失的基础之上，添加了一个权重调节
转载
2024-05-31 00:22:34
59阅读
Convolutional Neural Networks (LeNet)note：这部分假设读者已经看过（Theano3.3-练习之逻辑回归）和（Theano3.4-练习之多层感知机）。另外，这里是用新的theano函数和概念： T.tanh, shared variables, basic arithmetic ops, T.grad, f
目前为止，在机器学习的过程中，回归分析由如下几部分构成：线性回归（LinearRegression）：这一类问题就是我们高中所学习过的回归问题。我们常使用最小二乘法逼近进行拟合，有时候也使用最小化“拟合缺陷”（最小绝对误差回归）或者在桥回归中最小化最小二乘损失函数的惩罚；拟合方程：一般来说，线性回归都可以通过使用最小二乘法求出其方程，计算出对于y=bx+a的直线，一般的，影响y的因素不止一个，设
转载
2024-05-05 23:08:22
104阅读
学习机器学习的第一个模型是线性回归。除了作为一个简单的理解算法，结合正确的特征，还可以是一个强大的预测模型。在本文中，我们将在Python中构建一个线性回归模型，并应用梯度下降的优化技术来降低成本函数。以下是我们将要讨论的主题：线性回归：模型的解释和概念;梯度下降：关于GD及其变化的解释;代码实现：通过编写Python代码来演示学习的概念;线性回归线性回归是一种基本的预测算法，能够找到两个或多个变
转载
2024-04-27 19:43:29
38阅读
文章目录逻辑回归的损失函数以MLE角度理解交叉熵以信息论角度理解交叉熵信息熵K-L散度(相对熵)交叉熵(Cross Entropy)推导逻辑回归损失对参数的梯度使用逻辑回归实现乳腺癌数据集二分类 逻辑回归的损失函数有两种方式可以推导出二分类交叉熵损失函数，一个是通过极大似然估计法，另一个则是信息熵。以MLE角度理解交叉熵参考之前如何推导多元线性回归的损失函数，我们可以总结一下这个思想：那就是，一
转载
2024-06-10 10:38:09
103阅读
1. 逻辑回归算法描述（是什么？）1.1 逻辑回归的定义可以答作用：用于分类的回归算法，被广泛用于估算一个实例属于某个特定类别的概率。比如：这封电子邮件属于垃圾邮件的概率是什么？某人患病的概率?明天下雨的概率明天下雨的概率如果预估概率超过50%，则模型预测该实例属于该类别（称为正类，标记为“1”），反之，则预测不是；也就是负类，标记为“0”。这样它就成了一个二分类器。逻辑回归处理的常见的时二分类或
转载
2024-03-19 09:03:21
52阅读
学习参考：动手学深度学习2.0Deep-Learning-with-TensorFlow-bookpytorchlightning①如有冒犯、请联系侵删。②已写完的笔记文章会不定时一直修订修改(删、改、增)，以达到集多方教程的精华于一文的目的。③非常推荐上面（学习参考）的前两个教程，在网上是开源免费的，写的很棒，不管是开始学还是复习巩固都很不错的。深度学习回顾，专栏内容来源多个书籍笔记、在线笔记、
转载
2024-08-04 14:26:29
8阅读
这章感觉没什么需要特别记住的东西，感觉忘了回来翻一翻代码就好。3.1 线性回归3.1.1 线性回归的基本元素1. 线性模型\(\boldsymbol{x}^{(i)}\) 是一个列向量，表示第 \(i\) 个样本。用符号标识的矩阵 \(\boldsymbol{X} \in \mathbb{R}^{n\times d}\) 可以很方便地引用整个数据集中的 \(n\) 个样本。其中 \(\boldsy
线性回归算法梳理1.机器学习的基本概念 监督学习：训练含有很多特征的数据集，并且数据集中每一个样本都有一个标签。无监督学习：训练含有很多特征的数据集，然后学习出这个数据集上有用的结构性质。泛化能力：已训练好的模型在新样本上预测正确的能力。过拟合：在训练过程中，将个别样本的特点当作所有样本的都具有的一般特点，导致模型的泛化能力下降。欠拟合：在训练过程中，未完全学好训练样本的一般性质。偏差：
深度学习 --- 梯度下降推导--交叉熵误差函数线性回归复合函数求导偏导数预测函数损失函数 或者 误差函数梯度下降推导概念和公式定义梯度推导对单个样本推导对单个样本推导对 m 个样本推导梯度下降的算法调优 线性回归线性回归的推导可以看我的另一篇博客 深度学习–2.线性回归线性回归就是在二元分类中找到一条合适的分界线，其中二元分类中其结果只能后两种并且互斥，其线性方程为但这不是最好的二元分类方程，
转载
2024-07-15 15:04:12
53阅读
Matthew Richardson et al. “Predicting Clicks Estimating the Click-Through Rate for New Ads.” in WWW 2007.一、概述（逻辑回归—— 融合多种特征的推荐模型）相比 “协同过滤” 模型仅利用用户与物品的相互行为信息进行推荐，逻辑回归模型能够综合利用用户、物品、上下文等多种不同的特征，生成较为“全面”的
逻辑回归含义及优缺点逻辑回归（Logistic regression，简称LR）虽然其中带有"回归"两个字，但逻辑回归其实是一个分类模型，并且广泛应用于各个领域之中。虽然现在深度学习相对于这些传统方法更为火热，但实则这些传统方法由于其独特的优势依然广泛应用于各个领域中。而对于逻辑回归而且，最为突出的两点就是其模型简单和模型的可解释性强。逻辑回归模型的优劣势:优点：实现简单，易于理解和实现；计算代价
转载
2023-12-12 18:21:05
61阅读
本文主要对回归分析解读,包括一元线性回归,多元线性回归和逻辑回归.1 回归分析“回归”最早由英国生物学家高尔顿在研究孩子身高与其父母身高关系时提出。研究发现，父母个子高，其子代一般也高，但不如父母那么高；父母个子矮，其子女一般也矮，但没有父母那么矮。下一代身高有向中间值回归的趋势，这种趋于中间值的趋势被称为“回归效应”，而他提出的这种研究两个数值变量关系的方法称为回归分析。 回归的意义： 研究
转载
2024-04-01 06:17:23
196阅读
前言一般说到多分类问题，我们很自然地会采用softmax交叉熵损失，而谈到回归问题，我们可能会选择MSE这样的损失。但有一天，我们也许想知道二者之间是否真的就泾渭分明，能否把交叉熵损失用于回归任务，或者把MSE损失用于分类任务呢。这么想不是没有道理的，毕竟我们可以把多分类问题，看做是离散的回归问题，或者把回归问题，看做是无穷多类别下的分类问题。讨论1模型输出的logits，经过softmax归一化
转载
2024-03-21 09:27:59
108阅读
