Resnet 学习笔记前言 学了几个月的神经网络，感觉也没学到什么东西，炼丹能力倒是提升不少。。。不能只停留在应用方面，还是要掌握理论，因此就想借助博客园把我学到的理论知识都记录下来，也算是加深记忆了。 最近在看一些著名的网络模型，就从Resnet着手写下第一篇博客（主要是GoogleNet太复杂。。。）Why Resnet 当今世界，神经网络模型越来越深，那么是不是越深的模型就越好呢？ 论文中首
转载
2024-06-05 10:55:05
61阅读
假设我们有这样一个2D卷积模型modle = Sequential()
model.add(Conv2D(32, (3, 3), activation='relu', input_shape=(150, 150, 3)))
model.add(Maxpooling2D((2, 2)))
model.add(Conv2D(64, (3, 3), activation='relu'))
model.a
转载
2024-10-25 12:19:22
65阅读
2015年最火的ResNet现在看已经是过去时了，后来的DenseNet、Mask-RCNN等架构的出现已经磨平了2015CVPR best paper的锋芒。ResNet的想法非常简单，学过闭环反馈的话都会自然地想到是不是可以将信息跳跃式地反穿？当然，结构上看ResNet是正向的一个skip connection (shortcut)。其实一直以来我都不理解为什么ResNet能够解决深层网络效果
转载
2024-03-19 19:44:17
70阅读
网络退化问题AlexNet、VGG、GoogleNet结构都是通过加深网络结果，但是网络的深度提升不能通过层与层的简单堆叠来实现。由于梯度消失问题，深层网络很难训练。因为梯度反向传播到前面的层，重复相乘可能使梯度无穷小。结果就是，随着网络的层数更深，其性能趋于饱和，甚至开始迅速下降，ResNets 残差网络2015年何恺明推出的ResNet在ISLVRC和COCO上横扫所有选手，获得冠军。ResN
转载
2024-03-25 21:29:20
142阅读
目录一、提出原因 1、堆叠网络造成的问题2、解决深度网络的退化问题二、残差结构三、Resnet网络结构1.原理分析2、结构分析3、代码分析（内含分析和注释）一、提出原因 1、堆叠网络造成的问题传统的想法是如果我们堆叠很多很多层，或许能让网络变得更好。然而现实却是：堆叠网络后网络难以收敛，而且梯度爆炸（梯度消失）在一开始就阻碍网络的收敛，让网络难以训练，得到适当的参数。2、解决深
转载
2024-02-15 09:33:45
1231阅读
ResNet在2015年由微软实验室提出，斩获当年ImageNet竞赛中分类任务第一名，目标检测第一名。获得COCO数据集中目标检测第一名，图像分割第一名。ResNet34层模型的结构简图：ResNet网络中的亮点：超深的网络结构（突破1000层）提出residual模块（残差结构）使用Batch Normalization加速训练（丢弃dropout）在ResNet网络提出之前，传统的卷积神经网
转载
2024-05-26 13:59:26
132阅读
残差网络残差网络（Residual Network简称ResNet）是在2015年继Alexnet Googlenet VGG三个经典的CNN网络之后提出的，并在ImageNet比赛classification任务上拔得头筹，ResNet因其简单又实用的优点，现已在检测，分割，识别等领域被广泛的应用。 ResNet可以说是过去几年中计算机视觉和深度学习领域具开创性的工作,有效的解决了随着网络的加深
转载
2024-03-08 22:11:53
162阅读
OSNet 论文翻译摘要作为一个实例级的识别问题，行人再识别(ReID)依赖于具有识别能力的特征，它不仅能捕获不同的空间尺度，还能封装多个尺度的任意组合。我们称这些同构和异构尺度的特征为全尺度特征。本文设计了一种新颖的深度CNN，称为全尺度网络(OSNet)，用于ReID的全尺度特征学习。这是通过设计一个由多个卷积特征流组成的残差块来实现的，每个残差块检测一定尺度的特征。重要的是，引入了一种新的统
本文提出了一种基于CNN的3D物体识别方法，能够从3D图像表示中识别3D物体，并在比较了不同的体素时的准确性。已有文献中，3D CNN使用3D点云数据集或者RGBD图像来构建3D CNNs，但是CNN也可以用于直接识别物体体积表示的体素。本文中，我们提出了3D CAD物体检测。相关工作3D形状描述符。现代3D物体识别模型起始于60年代，早期的识别框架基于几何模型。然而，大多数识别工作基于手工提取的
转载
2024-10-16 13:56:49
136阅读
一、3D相机简介常见的三维视觉技术，包含双目、ToF、激光三角、结构光等毫米级：双目、ToF、结构光(散斑)的精度为 mm 级，多见于消费领域，如：导航避障，VR/AR，刷脸支付等微米级：线激光、结构光(编码)的精度是 um 级，主要应用在工业领域，如：表面缺陷检测、三维测量等纳米级：另外，还有 nm 级精度的光谱共焦技术，可用于透明材质物体的三维测量线激光3D相机，是一种基于三角测量原理，通过图
【写在前面】用Tensorflow(TF)已实现好的卷积神经网络（CNN）模型来训练自己的数据集，验证目前较成熟模型在不同数据集上的准确度，如Inception_V3, VGG16，Inception_resnet_v2等模型。本文验证Inception_resnet_v2基于菜场实拍数据的准确性，测试数据为芹菜、鸡毛菜、青菜，各类别样本约600张，多个菜场拍摄，不同数据源。 补充：自己
行为检测是行为识别的一个分支，个人认为其目的为了提高行为识别的准度。行为检测处理的对象大部分是视频数据。它完成检测任务大致可以分为两个阶段，第一个阶段为从视频中提取相关行为空间和时间特征，第二个阶段是基于这些特征准确的定位具体行为在视频中的开始和结束时间。在R-C3D之前，处理该问题最好的方法主要通过滑动窗形式生成的时间段，之后对
从工业实际模型到持久模型Product Modeler 简化版滑板是由七个组装好的实体部件组成，属于三种类型:一个板子(粉色)。两个支架(灰色)。四个轮子(绿色)。在Product modeler中，该滑板可表示为以下结构：Reference：对部件或组装部件模型的引用。Instance：实例，给定位置上的引用的模型，该实例所在装配体的引用聚合该实例。Representation：表示零件的形状和
转载
2024-10-31 08:23:16
66阅读
SSD简介SSD（Single Shot MultiBox Detector）是深度学习领域一种新型的目标检测算法。在过去的几次国际比赛中，SSD在速度和准确性方面均取得优异成绩，与其他检测算法一度拉开很大差距。SSD的算法流程大体可以概括为产生候选区域、框选、判断、过滤几个步骤。其中，产生候选区域、框选和过滤的算法是固定的，而针对给定的候选区域，判断区域中的图像是否是待检测目标，需要使用不同的模
过拟合现象学习器把训练样本学习的太好，很可能把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，导致泛化性能下降，这种现象叫做过拟合。有很多因素可能导致过拟合，其中最常见的情况是由于学习能力过于强大，以至于把训练样本所包含的不太一般的特性都学到了。深度学习模型的数据量少而参数较多时，会发生过拟合，如下图 怎样减小过拟合？1.重新清洗数据，导致过拟合的原因也有可能是数据不纯2.
Aggregated Residual Transformations for Deep Neural NetworksAbstract我们提出了一个简单的、高度模块化的图像分类网络架构。我们的网络是通过重复一个构建块来构建的，该构建块聚合了一组具有相同拓扑结构的转换（transformations）。我们的简单的设计得到一个均匀的多分支结构,只有设置了少数的超参数。这种策略使一个新的
在讨论度量空间的稠密性的时候，涉及到一些概念，下面我们逐一进行讨论一下，以区分不同，方便理解和记忆。(一)稠密：设R是度量空间，A及E是R中的点集。如果E中的任何一点的任何环境都含有集A中的点，就称A在E中稠密。教材里面好像也称呼A为稠密子集。仔细推敲这个概念，需要特别注意的是A和E都是一个度量空间的点集，而且它们之间可能不相交，也可能不相交，另外就是特别注意两个任何，也就是E中的任何一点的任何环
TResNet: High Performance GPU-Dedicated Architecture 来自阿里的达摩院，发布于**2021 WACV,**该论文引入了一系列架构修改，旨在提高神经网络的准确性，同时保持其 GPU 训练和推理效率。论文首先讨论了面向 FLOP 的优化引起的瓶颈。然后建议更好地利用 GPU 结构的设计。最后引入了一个新的 GPU 专用模型，称其为 TResNet。动
转载
2024-05-14 09:03:10
588阅读
3D卷积方法是把视频划分成很多固定长度的片段(clip)，相比2D卷积，3D卷积可以提取连续帧之间的运动信息。即，3D卷积将视频多帧进行融合 1. C3Dpaper: D. Tran, et al. Learning spatio-temporal features with 3D convolutional networks. ICCV'15.Tran等人提出C3D，其将3
转载
2024-02-27 22:33:19
559阅读
最近为了生计一直奔波，没有时间更新文章了。前几天，群里面有个小伙伴，询问关于医疗疾病的一些相关训练和使用。想着这几天有时间，就来玩一下这个“local disease label detection”。由于一些原因，使用了一台性能不是很高的电脑，用来搭建和训练模型，大家可以做个参考。主要看下显卡：GeForce GTX 1650 4G显存。（有能力的小伙伴可以升级下显卡）这里为
