神经网络-逻辑回归目录 神经网络-逻辑回归目录逻辑回归概念tips梯度下降绘制计算分析图方法逻辑回归中的梯度下降简单的算法描述矢量化tipsnumpy广播机制引起的隐形 bug 以及解决回顾深度学习训练步走 逻辑回归概念定义： LossFun: costFun: tips这里不用普通 L1Loss 的原因：使用 L1loss 会使得 GD无法找到全局最优解(因为不是凸函数)costFun
转载
2023-10-08 19:17:24
98阅读
目录一. 线性回归1.1 回归（regression）：1.2 线性回归的基本元素：1.3 线性模型：1.4 损失函数 二. 基础优化算法 2.1 梯度下降2.2 小批量随机梯度下降 三. 矢量化加速四. 正态分布与平方损失五. 总结六. 神经网络专栏一. 线性回归1.1 回归（regressio
转载
2023-08-10 15:44:05
281阅读
最近在刷吴恩达的coursea的机器学习视频，学完基于梯度下降的逻辑回归和基于梯度下降的神经网络后，就在反思这两者之间的区别，为什么必须使用神经网络？逻辑回归不能替代神经网络么？他们的区别是什么呢？ 答案：逻辑回归不能替代神经网络。 机器学习的本质其实是训练出一组参数，尽可能让基于这组参数的模型能正确识别出所有的样本。然而，逻辑回归所有参数的更新是基于相同的
转载
2023-08-13 22:50:17
145阅读
几个基本概念为了接下来的讲解方便，这里先告诉大家几个基本概念。1回归问题与分类问题回归(regression)与分类(classification)是机器学习中的两大类问题。上面我们举的计算圆形面积的例子就属于回归问题，即我们的目的是对于一个输入x，预测其输出值y，且这个y值是根据x连续变化的值。分类问题则是事先给定若干个类别，对于一个输入x，判断其属于哪个类别，即输出一般是离散的，比如本课程将会
转载
2023-11-06 16:52:26
53阅读
笔记总结自《神经网络与深度学习》第7章-网络优化与正则化1. 高纬空间的非凸优化在高纬空间中，大部分的局部最优点都是鞍点。因此，在深度网络的非凸优化问题的难点是如何逃离鞍点。通过引入随机因素，能够解决梯度下降方法在鞍点附近梯度为0的问题，从而有效地逃离鞍点。2. 改善神经网络计算的优化方法2.1 小批量（Mini-batch ）梯度下降初衷：通常深度神经网络使用的数据量都非常大，不适合一次性加载所
转载
2023-09-02 11:08:30
118阅读
深度学习的核心问题就是一个非常难的优化问题。所以在神经网络引入后的几十年间，深度神经网络的优化问题的困难性是阻碍它们成为主流的一个重要因素。并导致了它们在20世纪90年代到21世纪初期间的衰落。不过现在已经基本解决了这个问题。在本篇博文中，我会探讨优化神经网络的“困难性”，以及理论上是怎么解释这个问题的。简而言之：神经网络变得越深，优化问题就会变得越难。最简单的神经网络是单节点感知
转载
2023-12-29 19:15:54
59阅读
单层神经网络有线性回归和softmax回归。线性回归输出是一个连续值，因此适用于回归问题。而与回归问题不同，分类问题中模型的最终输出是一个离散值。我们所说的图像分类、垃圾邮件识别、疾病诊断等输出为离散值的问题都属于分类问题的范畴。softmax回归则适用于分类问题。下面我们依次介绍线性回归和softmax回归。一、线性回归1、模型训练设房屋面积为，房龄为，售出的价格为。我们需要建立基于输入和来计算
转载
2023-11-02 20:45:19
116阅读
学习使用hopfield神经网络解决TSP问题（毕业设计Day01）本篇文章主要是学习 <Hopfield神经网络在TSP问题中的应用_兰兆青>这篇文章，如有侵权，请联系删除。 （这系列文章主要是为了帮助自己理清思路，更好的了解神经网络，最终完成毕业设计，其中绝大部分内容都是引用兰兆青先生的文章）了解TSP 问题TSP问题的原始定义是有一个推销员要到n个城市推销商品,他要找出一个包含所
转载
2023-08-04 20:50:35
414阅读
02 网络优化与正则化1. 神经网络常遇到的两个问题1）优化问题：a 神经网络的损失函数通常是一个非凸函数，找到全剧最优值比较难；b深度学习的参数通常比较多，训练数据也比较大，因此也无法使用计算代价很高的二阶优化方法，而一阶优化方法的训练效率通常比较低。c深度学习存在梯度消失或爆炸问题，导致基于梯度的优化方法经常失效。 2）泛化问题。深度神经网络的复杂度比较高，并且拟合能力很强，很容易在训练集上产
转载
2023-10-24 05:38:48
281阅读
神经网络模型的效果以及优化目标是通过损失函数（loss function）来定义的。分类问题和回归问题有很多经典的损失函数。 分类问题和回归问题是监督学习的两大种类。 分类问题希望解决的是将不同的样本分到事先定义好的类别中。再这种问题下，需要将样本二分类（多分类）。手写字体识别就是一个十分类的问题。 再判断二分类问题的时候，可以定义一个有单个输出节点的神经网络，当这个节点输出越接近1（或者设
转载
2023-10-27 15:57:17
120阅读
深度学习基础 文章目录深度学习基础1、加载IMDB数据集2、准备数据3、构建网络3.1、定义模型3.2编译模型3.3配置优化器3.4使用定义的损失和指标4验证4.1 预留验证集4.2 训练模型4.3绘制训练损失和验证损失4.4绘制训练精度和验证精度4.5重新训练一个模型 之前学习了一些深度学习的概念，以及神经网络的一些数学基础，在此以电影评论分类的二分类问题进一步学习深度学习的内容。 1、加载I
转载
2023-10-05 14:01:59
100阅读
咸鱼了半个多月了，要干点正经事了。最近在帮老师用神经网络做多变量非线性的回归问题，没有什么心得，但是也要写个博文当个日记。该回归问题是四个输入，一个输出。自己并不清楚这几个变量有什么关系，因为是跟遥感相关的，就瞎做呗。数据预处理的选择刚开始选取了最大最小值的预处理方法，调了很久的模型但是最后模型的输出基本不变。换了z-score的预处理方法，模型的输出才趋于正常。损失函数的选择对于回归问题，常用的
转载
2023-07-27 22:21:56
101阅读
1.介绍在这章，我们来实战一下真正的神经网络。神经网络能解决的问题是多种多样的，总的来说可以分为两类，一类是回归问题，一类是分类问题。在本章，我们将实现两个简单的神经网络，一个解决回归问题，一个解决分类问题。2.回归问题1.什么是回归问题 我们之前做的异或分类的神经网络其实就是一个回归问题。回归问题就是把离散数据模拟成连续数据，探索其公式。这么说很抽象，说白了就是给你一个散点图，让你找一条曲线来尽
转载
2023-09-07 15:31:03
115阅读
神经网络一、线性回归与神经网络单层单个输出多个输出多层二、神经网络原理一般结构神经网络传播过程三、激活函数为什么要使用非线性激活函数常用的激活函数(1) sigmoid函数(2) Tanh函数 一、线性回归与神经网络神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。单层单个输出假设现需要预测房屋的出售价格，房屋通过以下特征，面积（）空气指数（），交通指数()，最终输出价格（）
转载
2023-08-11 12:45:40
391阅读
一、Logistic问题描述1、训练集和测试集表示(1) 有m个训练样本，训练集表示为：{(x(1),y(1)),(x(2),y(2)),...,(x(m),y(m))}
{
(
x
(
转载
2024-05-22 21:22:48
63阅读
连续Hopfield网络解TSP问题上篇讲的是离散型Hopfield网络用于联想记忆，这篇接上篇讲利用连续型Hopfield网络解TSP问题。模型连续型Hopfield网络与离散型Hopfield网络结构是一致的，唯一区别就是节点取值连续和在时间上也连续。连续型的Hopfield网络一般用一个电路图来研究：这里感谢周启航同学对我在电路方面的指导，才让我看懂了他认为很简单的这么个图。这是一组放大器电
转载
2023-06-25 16:55:00
666阅读
线性回归的表示方法这节我们解释线性回归与神经网络的联系，以及线性回归的矢量计算表达式。神经网络图在深度学习中，我们可以使用神经网络图直观地表现模型结构。为了更清晰地展示线性回归作为神经网络的结构，下图使用神经网络图表示本节中介绍的线性回归模型。神经网络图隐去了模型参数权重和偏差。在如图所示的神经网络中，输入分别为 和 ，因此输入层的输入个数为2。输入个数也叫特征数或特征向量维度。图中网络的输出为，
转载
2023-09-21 06:07:35
102阅读
深度学习的基础简单单元就是线性回归，线性回归的背景知识我们都有很多丽了解，最简单的就是一元线性回归，复杂的神经网络就是很多（相当大）的线性单元构成，包括卷积等。为了体现微分的数值计算深入理解深度学习是如何工作的，尽管强大的深度学习框架可以减少大量重复性工作，但若过于依赖它提供的便利，会导致我们很难理解工作原理。因此，这里介绍如何只利用C++来实现一个一元线性回归的训练。原始数据集变量1234567
转载
2023-09-27 12:38:48
94阅读
神经网络求解二阶常微分方程最近课题组老师给出一篇文献，文件原文如链接一所示。需要让我使用深度神经网络求解偏微分方程。在相关调研过程中，CSDN上作者Trytobenice分享过相关的程序源码。基于相关程序源码，我将他的一阶常微分方程求解扩充到二阶常微分方程求解。并且按照此方法可以求解高阶常微分方程。理论分析对于任意一个微分方程，我们都可以用这个方程表示出 求解目的就是找出这样的一个方程：ψ(x)，
转载
2024-01-22 17:11:24
59阅读
神经网络可以用在分类问题和回归问题上，不过需要根据情况改变输出层的激活函数。一般而言，回归问题用恒等函数，分类问题用 softmax 函数。机器学习的问题大致可以分为分类问题和回归问题。分类问题是数据属于哪一个类别的问题。比如，区分图像中的人是男性还是女性的问题就是分类问题。而回归问题是根据某个输入预测一个（连续的）数值的问题。比如，根据一个人的图像预测这个人的体重的问题就是回归问题（类似“57.
转载
2023-10-20 19:13:28
45阅读
