前言机器学习基本知识——卷积网络基础补充 参考内容来自b站up主：https://space.bilibili.com/18161609一、误差计算以三层神经网络为例 经过Softmax输出，所有输出节点概率之和为1交叉熵损失（Cross Entropy Loss）针对多分类问题（Softmax输出，所有输出和概率为1）针对二分类问题（Sigmoid输出，每个输出节点互不相干） 其中,为真实标签值
一般一个CNN网络主要包含卷积层，池化层，全连接层，损失层等。 卷积层与池化层在本篇中不做多理解，之后有时间再记录一下，本篇着重讲一下全连接层与损失层。 —————————————————————————————————————— 全连接层： W为全连接层的参数，X是全连接层的输入，也就是特征，经上层卷积或者池化层输出。 从图中可以看出X是NX1的向量，这是怎么得到的呢？ 这个输入X就是由全连接层
一、绪论1.卷积神经网络的应用图片分类，检索，检测，分割人脸识别，遗传病识别，人脸表情识别图像生成，图像风格转化自动驾驶2.传统神经网络VS卷积神经网络深度学习的三部曲1.搭建神经网络结构2.找到一个合适的损失函数（交叉熵损失(cross entropy loss) , 均方误差(MSE)…）3.找到一个合适的优化函数，更新参数（反向传播(BP)，随机梯度下降(SGD)…）传统VS卷积传统神经网络
衡量预测值与真实值的偏差程度的最常见的loss： 误差的L1范数和L2范数 因为L1范数在误差接近0的时候不平滑，所以比较少用到这个范数 L2范数的缺点是当存在离群点（outliers)的时候，这些点会占loss的主要组成部分。比如说真实值为1，预测10次，有一次预测值为1000，其余次的预测值为1
转载
2018-08-23 21:39:00
271阅读
2评论
目录Part1 视频学习一、绪论二、基本组成结构1. 卷积2. 池化3. 全连接一、绪论卷积神经网路典型结构1. AlexNet2. ZFNet3. VGG4. GoogleNet5. ResNetPart2 问题回答 Part1 视频学习一、绪论卷积神经网络的应用包括：分类、检索、检测、分割、人脸识别、人脸表情识别、图像生成、图像风格转化、自动驾驶等；深度学习的三步骤为：（1）搭建神经网络结构
4.3目标检测觉得有用的话,欢迎一起讨论相互学习~3.6交并比intersection over union交并比函数(loU)可以用来评价对象检测算法，可以被用来进一步改善对象检测算法的性能。如何评价一个算法的好坏，即如图中假设红色框线表示 真实的对象所在边界框，紫色框线表示 模型预测的对象所在边界框.通过计算两个边界框交集和并集的比用于评价对象检测算法的好坏。在对象检测的算法中，如果IoU&g
正则化在深度学习模型进行训练时，如果你的数据不是很大，就极有可能会产生过拟合的问题。它在训练集上准确率会很好，但是当你进行测试集测试时，准确率会变差。这个时候我们就需要利用正则化。例子： 假设你现在是一个AI专家，你需要设计一个模型，可以用于推荐在足球场中守门员将球发至哪个位置可以让本队的球员抢到球的可能性更大。说白了，实际上就是一个二分类，一半是己方抢到球，一半就是对方抢到球。如图：看一下数据集
经过前六章的阅读，我从三个世界、数据法则、信息纽带、知识升华、自然智能以及人工智能六个方面对于信息科学技术与创新有了深层次的认识与了解。从对于三个世界的描述中，我了解到了物理、生物和数字世界的区别和联系。同时也明白了物质、能量与数据构成了人类所赖以生存和发展的客观和主观世界。通过这样的三个世界基本底层架
目录（一）卷积神经网络初了解一、卷积神经网络1.1 计算机视觉1.2 卷积运算1、卷积运算介绍2、卷积运算示例：边缘检测3、对于一张RGB图像进行卷积4、提取RGB图像的多个特征1.3 卷积操作：Padding与Stride1、Padding：填充2、Stride：步长1.4 卷积神经网络1、卷积层——对RGB图像卷积操作提取特征2、卷积层——激活函数3、 池化层4、 全连接层二、目标检测2.1
转载
2023-11-03 09:44:48
63阅读
Multi-layer Graph Convolutional Network (GCN) with first-order filters.
1、图卷积要干什么？图卷积神经网络主要要完成的就是这件事，给定一个图网络，把节点（node）（又称顶点(vertex)）与 边（edge）输入进一个函数，希望得到一个各个节点的feature信息，利用这个feature去实现各种任务（比如
1. 卷积神经网络 （卷积层，激活函数，池化层，全连接层） (1) 把神经网络的隐藏层分为卷积层和池化层(又叫下采样层) 卷积层池化层 ： 通过特征后稀疏参数来减少学习的参数，降低网络的复杂度。2. 卷积层：（定义过滤器） (1)大小 （观察窗口）、一般都是奇数(1*1、3*3、5*5) &n
转载
2023-06-17 17:45:25
83阅读
一、序言 前面的文章中，我们逐步从单神经元、浅层网络到深层网络，并且大概搞懂了“向前传播”和“反向传播”的原理，比较而言深层网络做“手写数字”识别已经游刃有余了，但神经网络还存在很多问题，比如最常见的两个问题：“过拟合”和“欠拟合”，下图中从左到右依次是“欠拟合”、“刚刚好”、“过拟合”。 简单点说
原创
2021-09-01 10:27:02
220阅读
损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子：其中，前面的均值函数表示的是经验风险函数，L代表的是损失函数，后面的$\Phi$是
我觉得在L2正则化里面，λ可以是一个变量，一开始λ很小，然后再让λ迅速增大，我的理由是一开始λ很小，神经网络能够收敛于最小值附近（就是能够进入那个坑里面），不至于收到太大的反向位矢的牵引以至于跑出坑的范围，当神经网络接近谷底的时候，再增大λ以达到我们想要的效果。λ可以大概设置成x^4的那种感觉，一开始从0出发比较平坦，之后过了一个节点，训练的样本足够多了，再迅速增大到指定的λ。 第二个体
一、原理介绍1、数据集根据使用场景自己制作数据集使用网上开源的数据集2、前向传播前向传播核心是介绍如何通过输入的X得到输出的Y，前向传播相对于反向传播比较容易理解。 前向传播公式如下：3、损失函数损失函数是主要是用来衡量神经网络输出的值Y’和真实值Y之间的差距，常用的损失函数主要有交叉熵和均方误差损失函数。：交叉熵损失函数均方误差损失函数
卷积神经网络 1*1 卷积核
转载
2018-01-31 21:28:00
648阅读
2评论
训练集loss不下降1.训练时间不足 解决方案：硬件加速（如GPU）。2.batch_size过大 解决方案：缩小batch_size。3.数据集未随机打乱 解决方案：打乱数据集。4.数据集噪声过大 解决方案：调整数据集。5.特征选取不合理 解决方案：调整选取特征。6.未进行归一化 解决方案：归一化处理，通过放缩均匀特征分布。7.权重初始化方案不合适 解决方案：更换权重初始化方案，常用全零、随机正
转载
2023-07-10 00:09:59
123阅读
1、卷积神经网络通俗理解卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shi
转载
2023-08-26 08:26:02
111阅读
卷积神经网络（CNN）之一维卷积、二维卷积、三维卷积详解转载自： 由于计算机视觉的大红大紫，二维卷积的用处范围最广。因此本文首先介绍二维卷积，之后再介绍一维卷积与三维卷积的具体流程，并描述其各自的具体应用。1. 二维卷积图中的输入的数据维度为14×14，过滤器大小为5×5，二者做卷积，输出的数据维度为10×10（14−5+1=10）。如果你对卷积维度的计算不清楚，可以参考我之前的博客吴恩达深度学习
转载
2023-10-13 21:38:15
141阅读
RPN的目标函数是分类和回归损
转载
2022-08-30 10:28:00
75阅读
