我们常说的 深度学习 ，其实就是指 神经网络 ，尤其是 大规模的神经网络。那么神经网络究竟是什么？什么是神经网络？(What is a Neural Network?)本质上，神经网络属于一种强大有效的 机器学习模型，同样是 数据驱动，从数据中学习。最初神经网络算法的诞生是出于 对生物神经系统建模 的目的，但随后与其分道扬镳，成为一个 独立的工程问题，并在机器学习领域取得了很好的效果。我们可以参考
转载
2023-12-29 19:23:32
191阅读
神经网络反向传播Backpropagation一、深度学习三部曲：定义一个函数model评估这个函数model选出最好的函数二、定义神经网络 本次学习使用的是全连接前馈神经网络（Fully Connect Feedforward Network) 以上图为例，此处所采用的sigmoid函数是。也就是节点的activation是sigmoid函数。从上图可以看出我们输入1对应的权重为1和-1,下一层
转载
2023-10-08 23:38:07
137阅读
文章目录神经网络定义网络损失函数反向传播更新权重 神经网络可以使用该torch.nn软件包构建神经网络现在，您已经了解了autograd，这nn取决于 autograd定义模型并对其进行区分。一个nn.Module包含层，和输入值forward(input)，返回值output。例子：以下对数字图像进行分类的网络 这是一个简单的前馈网络。输入–隐藏层–输出层神经网络的典型训练过程如下：定义具有一
转载
2023-08-26 00:59:05
103阅读
文章目录卷积神经网络由来加入卷积操作的动机稀疏连接：参数共享：平移不变性池化总结： 卷积神经网络卷积神经网络属于前馈网络的一种，是一种专门处理类似网格数据的神经网络，其特点就是每一层神经元只响应前一层的局部范围内的神经元。卷积网络一般由：卷积运算+非线性操作（RELU）+池化 +若干全连接层。由来卷积网络之所以叫做卷积网络，是因为这种前馈网络其中采用了卷积的数学操作。在卷积网络之前，一般的网络采
转载
2023-08-13 21:04:33
114阅读
基本名词对应：Feature Map : 特征图，特征映射 Weight：权值，权重权值共享CNN是权重共享，减少了参数的数量。这个有必要再对比研究一下。 一般神经网络层与层之间的连接是，每个神经元与上一层的全部神经元相连，这些连接线的权重独立于其他的神经元，所以假设上一层是m个神经元，当前层是n个神经元，那么共有个连接，也就有个权重。权重矩阵就是形状。一般用权重矩阵W表示，每一行是一个神经元与上
转载
2023-10-06 22:39:29
191阅读
1.2.3 轻量级神经网络概述深度学习算法已经在计算机视觉、自然语言处理、控制工程等领域表现惊人，直接 冲击传统算法的地位，进而引发新一代人工智能的浪潮。神经网络具有高密集的计算量， 而移动设备计算资源紧张，因此，如何在移动设备中部署神经网络模型是目前深度学习 发展的技术瓶颈。 为解决如何在移动设备中部署神经网络模型的问题，国内外各大深度学习研究机构 纷纷提供了将深度神经网络模型移植到移动端设备的
转载
2023-09-05 18:48:06
362阅读
## 神经网络升维的意义
神经网络是一种广泛应用于机器学习和人工智能领域的算法模型。它通过将输入数据映射到高维空间中的非线性特征空间，从而提高模型的表达能力和分类性能。这个过程被称为升维。
### 升维的背景
在机器学习中，我们经常遇到一些非线性可分的问题。这意味着在低维空间中很难找到一个简单的线性函数来准确分类数据。例如，我们要判断一张图片中的动物是猫还是狗，只使用图片的像素值作为输入特征
原创
2023-12-22 06:39:39
234阅读
1.什么是神经网络？先举个例子：找工作 在考虑入要不要接受一个岗位，需要综合的考虑一些因素,比如：薪资，气氛，工作环境，离家远近等等，但是一个岗位不太可能所以的条件都满足，需要有些取舍。怎么取舍呢？当然是根据重要程度来，比如薪资肯定比气氛重要吧， 重要程度如何衡量？我们可以想到用权重表表示重要程度，权重越大表示越重要，权重越小表示越不重要每个因素达到预期情况下，对结果的重要程度用如下权重表示薪
转载
2023-08-17 16:38:51
510阅读
1. 三维卷积：2. 最大池化：缩减模型的大小，提高计算速度，同时提高所提取特征的鲁棒性。3. 卷积层的优势（1）参数共享：每个特征检测器以及输出都可以在输入图片的不同区域中使用同样的参数，以便提取垂直边缘或其它特征。它不仅适用于边缘特征这样的低阶特征，同样适用于高阶特征，例如提取脸上的眼睛，猫或者其他特征对象。（2）稀疏连接：输出单元仅与几个输入特征相连接，而其它像素值都不会对输出产生任影响。4
转载
2023-10-25 23:30:28
99阅读
Loss函数 Yolo里的每个格点，是怎么知道该预测哪个物体的？这就是神经网络算法的能力。首先拿到一批标注好的图片数据集，按照规则打好标签，之后让神经网络去拟合训练数据集。训练数据集中的标签是通过人工标注获得，当神经网络对数据集拟合的足够好时，那么就相当于神经网络具备了一定的和人一样的识别能力。神经网络结构确定之后，训练效果好坏，由Loss函数和优化器决定。Yolo v1使用普通的梯度下降法作为优
转载
2023-12-24 13:28:49
123阅读
一直在接触卷积神经网络，今天就说一下为什么会有卷积，卷积会带来什么好处和CNN中如何使用卷积。为什么会有卷积（这里主要解释下卷积具有什么意义，为什么人们会想到卷积。有些人一提到卷积可能首先想起来的是局部连接、参数共享呀等等，这些只是它带来的好处。如果一个方法对于我们的问题本身没有什么意义，即使它会带来一大堆的好处人们应该也是不会去使用的。）19世纪60年代，科学家通过对猫的视觉皮层细胞研究发现，每
转载
2023-12-01 08:39:38
24阅读
Daniel Yamins，麻省理工学院博士后的一位计算神经科学，有时会为了他的机器视觉项目辛苦工作到午夜以后。他煞费苦心地设计了一个系统，可以识别图片中的物体，而不管其大小、位置和其他特性的变化ーー这是人类可以轻松做到的。这个系统是一个深层神经网络，一种受到人类大脑启发的算法。Yamins指出一个神经网络可以像大脑一样分层次地处理场景的特征，这可以匹配人类识别物体的能力。斯坦福计算神经学家Dan
转载
2024-03-12 21:00:42
41阅读
1、损失函数loss 用于定义网络输出结果与正确结果之间的误差的函数，常用损失函数为均方差（MSE）和交叉熵（Cross Entropy）。一般均方差用于回归问题，交叉熵用于分类问题。2、梯度 梯度下降：让损
转载
2023-12-18 22:49:11
810阅读
一、PP-LCNet: 一个轻量级的卷积神经网络我们提出了一个基于MKLDNN加速策略的轻量级卷积神经网络，叫做PP-LCNet，他是一个能够用于多任务的轻量级模型。这篇论文提出了一些能在保持延迟不变的情况下提高模型准确率的方法。在这些优势的加持下，PP-LCNet与之前预测速度差不多的模型相比更加准确。对于计算机视觉的一些下流任务（指具体应用），比如目标检测、语义分割等，该模型效果也很好。我们的
转载
2023-10-23 10:30:43
178阅读
1.循环神经网络的介绍1.1 为什么有了神经网络还要有循环神经网络？在普通的神经网络中 ，信息的传递是单向的，这种限制虽然使网络变得更容易学习，但也在一定程度上减弱了神经网络模型的能力。特别是在很多现实任务中，网络的输出不仅和当前的输入有关，也和过去一段时间的输出有关。此外，普通的网络难以处理时序数据，比如，视频，语言，文本等。时序数据的长度一般是不固定的，而前馈神经网络的输入和输出一般都是固定的
转载
2023-09-04 15:41:44
65阅读
1. 什么是卷积神经网络？为什么它们很重要？卷积神经网络（ConvNets 或者 CNNs）属于神经网络的范畴，已经在诸如图像识别和分类的领域证明了其高效的能力。卷积神经网络可以成功识别人脸、物体和交通信号，从而为机器人和自动驾驶汽车提供视力。在图1中，卷积神经网络可以识别场景，也可以提供相关的标签，比如“桥梁”、“火车”和“网球”；而下图展示了卷积神经网络可以用来识别日常物体、人和动物。最近，卷
转载
2023-10-13 00:21:43
163阅读
最近看了很多篇关于剪枝的文章，今天在这里简单介绍一下每一篇的思想。①PRUNING FILTERS FOR EFFICIENT CONVNETS: https://arxiv.org/pdf/1608.08710.pdf &
转载
2023-10-24 21:41:41
86阅读
笔记mark：jpg算法中就用到了量化。png压缩算法中用到了霍夫曼编码。 本文主要梳理了模型量化算法的一些文章，阐述了每篇文章主要的内核思想和量化过程，整理了一些对这些文章的分析和看法。DeepCompression 主要分为三个主要的部分：剪枝，量化，哈夫曼编码，下面分别探讨这几种方法并且分析他们在硬件前向配置的加速潜力。剪枝（purning）：其实这个思路的核心非常简单，就是当网络
转载
2024-04-07 20:09:23
148阅读
假设图片A有三个通道，每个通道都可以看做是一个方形有三个方形
原创
2022-04-06 10:38:43
6281阅读
假设图片A有三个通道，每个通道都可以看做是一个方形有三个方形（a，b，c）输入给卷积卷积进行的操作就是将一个方形分成几个 部分，假设每个方形被分为AB两个方形a，b，c的A的位置对应是一样的，假设 abc 的AB方形继续下一个卷积
原创
2021-04-22 20:27:06
337阅读
