01 卷积卷积是指在滑动中提取特征的过程，可以形象地理解为用放大镜把每步都放大并且拍下来，再把拍下来的图片拼接成一个新的大图片的过程。2D卷积是一个相当简单的操作： 我们先从一个小小的权重矩阵，也就是 卷积核（kernel） 开始，让它逐步在二维输入数据上“扫描”。卷积核“滑动”的同时，计算权重矩阵和扫描所得的数据矩阵的乘积，然后把结果汇总成一个输出像素。也就是说，【卷积操作后得到的矩阵中的每个元
转载
2024-05-07 19:30:12
213阅读
1.图像卷积（模板）(1).使用模板处理图像相关概念：模板：矩阵方块，其数学含义是一种卷积运算。 卷积运算：可看作是加权求和的过程，使用到的图像区域中的每个像素分别于卷积核(权矩阵)的每个元素对应相乘，所有乘积之和作为区域中心像素的新值。卷积核：卷积时使用到的权用一个矩阵表示，该矩阵是一个权矩阵。卷积示例：&
转载
2024-09-06 00:10:09
20阅读
本文主要是把之前在知乎上的回答[1,2]重新整理了一下并且加了一些新的内容。对于像素级的任务，在decoder部分都会用一些常规操作去逐步恢复feature map的空间大小，而常用的模块有反卷积[3,5]、上采样+卷积和subpixel[4]操作等等。对于上采样+卷积操作，就是一个最近邻或者双线插值上采样到想要的feature map 空间大小再接一层卷积。但是对于反卷积，相信有不少炼丹
文章目录1、卷积核Constant参数初始化2、卷积核参数随机（random）初始化2.1 随机分布的参数初始化2.2 正态分布的参数初始化3、卷积核参数Xavier初始化3.1 基于Xavier的随机参数初始化和正态分布参数初始化3.2 进阶版的Xavier4、卷积核参数Kaiming初始化4.1 Kaiming初始化与均匀分布、正态分布4.2 Kaiming初始化API（pytorch） 1
转载
2023-11-10 18:56:07
129阅读
1. 深度可分离卷积（depthwise separable convolution）在可分离卷积（separable convolution）中，通常将卷积操作拆分成多个步骤。而在神经网络中通常使用的就是深度可分离卷积（depthwise separable convolution）。 举个例子，假设有一个3×3大小的卷积层，其输入通道为16、输出通道为32。 那么一般的操作就是用32个3×
深度学习笔记其五：卷积神经网络和PYTORCH1. 从全连接层到卷积1.1 不变性1.2 多层感知机的限制1.2.1 平移不变性1.2.2 局部性1.3 卷积1.4 “沃尔多在哪里”回顾1.4.1 通道1.5 小结2. 图像卷积2.1 互相关运算2.2 卷积层2.3 图像中目标的边缘检测2.4 学习卷积核2.5 互相关和卷积2.6 特征映射和感受野2.7 小结3. 填充和步幅3.1 填充3.2
视觉层（Vision Layers）包括Convolution, Pooling, Local Response Normalization (LRN), im2col等层。1、Convolution层：就是卷积层，是卷积神经网络（CNN）的核心层。层类型：Convolution layer {
name: "conv1"
type: "Convolution"
1×1的卷积核卷积核在CNN中经常被用到，一般常见的是3×3的或者5×5的，见下图，这里不多赘述 那么1×1的卷积核，就像上面那样。 一般1×1的卷积核本质上并没有对图像做什么聚合操作，以为就是同一个ww去乘以原图像上的每一个像素点，相当于做了一个scaling 1×1卷积核最初是在Network in Network这个网络结构中提出来的。它用了比Ale
卷积核 He初始化 Python
在深度学习中，“卷积核 He 初始化”是一种用于优化神经网络权重的方法，特别是在使用ReLU激活函数的情况下。本文将详细介绍如何在Python中实现“卷积核 He 初始化”的过程，包括环境准备、分步指南、配置详解、验证测试、优化技巧及扩展应用。
## 环境准备
首先，我们需要搭建一个适合进行卷积神经网络实验的环境。以下是必要的前置依赖以及硬件资源的评估。
目录前向传播与反向传播回顾梯度消失与梯度爆炸激活函数的影响权重矩阵的影响不良初始化参考前向传播与反向传播回顾神经网络的训练过程可以简化成以下步骤，输入预处理（feature scaling等）初始化网络weight和bias前向传播，得到网络输出计算损失函数，得到当前损失反向传播，根据链式法则，逐层回传得到损失函数对当前参数的偏导，根据梯度下降算法对当前参数进行更新重复步骤3 4 5，直到损失不再
导论：https://cv-tricks.com/image-segmentation/transpose-convolution-in-tensorflow/https://zhuanlan.zhihu.com/p/38964806tf.nn.conv2d_transpose（
conv, 卷积后的结果 ，假设为 （16,375,250
原创
2023-03-23 08:48:48
187阅读
机器学习知识点相关总结（一）——基础机器学习知识点相关总结（二）——决策树相关机器学习知识点相关总结（三）——LR相关机器学习知识点相关总结（四）——SVM相关机器学习知识点相关总结（五）——CNN相关机器学习知识点相关总结（六）——RNN,LSTM相关机器学习知识点相关总结（七）——k-means相关1.卷积层个数计算方式，CNN参数量计算，卷积计算复杂度，如果一个CNN网络的输入channel
转载
2024-03-31 06:38:53
79阅读
出现梯度爆炸时候考虑是权重初始化过大的原因权值初始化的方法主要有：常量初始化（constant）、高斯分布初始化（gaussian）、positive_unitball初始化、均匀分布初始化（uniform）、xavier初始化、msra初始化、双线性初始化（bilinear）常量初始化(constant) 把权值或者偏置初始化为一个常数，具体是
原创
2023-03-08 02:11:09
255阅读
除了标准正态分布（即使用np.random.randn或类似函数）来初始化神经网络的权重外，还有其他多种初始化权重的方式。这些方式的选择通常取决于网络的具体架构、激活函数以及希望避免的问题（如梯度消失或梯度爆炸）。以下是一些常见的权重初始化方法：全零初始化（Zero Initialization）：将权重初始化为零。然而，这种方法通常不被推荐，因为它会导致所有神经元在训练过程中都计算相同的输出，从
原创
2024-08-07 16:34:07
78阅读
对于一个神经元来说，需要初始化的参数有两类：一类是权重W，还有一类是偏置b，虽然偏置b的初始化为可以使用0或者随机书代替，但是权重的初始化会对模型的训练有重要影响。 文章目录tensorflow 权重初始化方法常见的初始化方法BN 初始化总结 权重的初始化最好不要用零或随机数初始化权重，因为如果初始权重太小，则信号在穿过每一层时会收缩，会导致小而无用。如果初始权重太大，则信号在穿过每一层时会不断
转载
2024-04-16 14:56:15
291阅读
https://zhuanlan.zhihu.com/p/25110150目录梯度爆炸和梯度消失的原因一、 常数初始化(constant)二、随机分布初始化三、 xavier 初始化四、He初始化Xavier初始化和He初始化推导Xavier初始化推导He初始化推导梯度爆炸和梯度消失的原因深层网络需要一个优良的权重初始化方案，目的是降低发生梯度爆炸和梯度消失的风险。先解释下梯度爆炸和梯度
转载
2024-05-22 10:19:20
248阅读
1、可视化网络结构————以ResNet18的结构进行展示随着深度神经网络做的的发展，网络的结构越来越复杂，我们也很难确定每一层的输入结构，输出结构以及参数等信息，这样导致我们很难在短时间内完成debug。因此掌握一个可以用来可视化网络结构的工具是十分有必要的。在深度学习库Keras中可以调用model.summary()的API来很方便地实现，调用后就会显示我们的模型参数，输入大小，输出大小，模
转载
2024-02-05 12:34:56
83阅读
神经网络中的几种权重初始化方法在深度学习中，对神经网络的权重进行初始化（weight initialization）对模型的收敛速度和性能的提升有着重要的影响。在神经网络在计算过程中需要对权重参数w不断的迭代更新，已达到较好的性能效果。但在训练的过程中，会遇到梯度消失和梯度爆炸等现象。因此，一个好的初始化权重能够对这两个问题有很好的帮助，并且，初始化权重能够有利于模型性能的提升，以及增快收敛速度。
转载
2024-05-08 21:12:40
143阅读
1.全0初始化或者同一层的初始化为同一个值。 这样的初始化导致前向传播得到相同的值，反向传播也得到相同的梯度，这样就失去了神经元的不对称性 2. 3.xavier初始化 首先明确均匀分布：数学期望：E(x)=(a+b)/2 方差：D(x)=(b-a)²/12 https://zhuanlan.zhi
转载
2018-08-10 12:57:00
181阅读
ConvNet.py'''
搭建一个卷积神经网络，该网络用于展示如何使用相关包来可视化其网络结构
'''
import torch.nn as nn
class ConvNet(nn.Module):
def __init__(self):
super(ConvNet, self).__init__()
# 定义第一个卷积层: Conv2d + RELU
转载
2024-04-11 12:49:35
119阅读
