Motivation AlexNet取得2012年的ILSVRC挑战赛冠军、VGGNet取得2014年的ILSVRC挑战赛亚军都在不断说明一个事实：随着网络深度的增加，网络的性能会越来越好。在理论上分析，假如一个浅层网络达到了比较好的训练效果，考虑构造一个满足如下条件的更深层次的网络：1. 添加的层是identity mapping（恒等映射）
2. 其余层只是
这篇论文在知乎上讨论比较多，主要原因是引入了太多训练trick，没法看出论文创新点的真正贡献，感觉更像是工程上的创新 论文地址：https://arxiv.org/pdf/2004.08955.pdf Github：https://github.com/zhanghang1989/ResNeSt先看一下效果直观展示，超越EfficientNet：Abstract：尽管图像分类模型最近不断发展，但是
转载
2024-04-07 09:47:51
93阅读
目录前言一、配置文件结构二、配置文件名称风格三、 一个Mask-RCNN的例子1、model2、datasets的配置3、scheduleFAQ1、忽略基础配置文件中的部分字段2、在配置文件中使用中间变量前言MMDetection2中大部分模型都是通过配置4个基础的组件来构造的，本篇博客主要是介绍MMDetection中的配置文件，主要内容是按照MMDetection文档进行中文翻译的，有兴趣的话
ResNet问题一：在反向传播过程中梯度 x > 1 梯度爆炸，梯度x < 1 梯度消失解决方案1.权重初始化2.数据标准化bn3.batch norm问题二：累加Conv后，并不是网络越深，效果越好解决方案1.残差结构残差结构1.左侧的残差结构适用于浅层网络，ResNet342.右侧的残差结构适用于深层网络，ResNet50/101等下采样残差结构针对ResNet34针对ResNet
转载
2024-03-21 15:19:38
143阅读
Resnet背景bottleneck为什么有用参考资料 背景提出假设：网络只要加深就能得到优化吗？ 发现问题：随着网络的加深，会出现退化问题，精度随着网络的加深不再提高甚至反而降低。随着网络的加深，训练集上loss也在不断增大，说明这种退化不完全是由于过拟合引起的。bottleneck为什么有用根据上图，copy一个浅层网络的输出加给深层的输出，这样当网络特征达到optimal的时候更深层恒等映
转载
2024-09-23 16:20:12
60阅读
导读本文是DeepLab系列作者“Liang-Chieh Chen”大神在全景分割领域的又一力作。它在Wide-ResNet的基础上引入SE与"Switchable Atrous Convolution,SAC"两种改进，嵌入到Panoptic-DeepLab框架中并在全景分割领域取得了SOTA性能(在更快、更大模型配置方面均取得了SOTA指标)。paper: https://arxiv.org/
转载
2024-04-07 12:27:43
43阅读
ResNet要解决的问题 在很多论文中，以及很多比赛如ImageNet的前几名使用的算法中，表现出网络深度的重要性。许多任务都从深层的网络中得到了效果提升。那么问题来了：简单的堆叠更多的层是否就能得到性能更好的网络？ 首先，随着网络层数的增加，随之而来的一个问题就是梯度消失\爆炸，梯度消失\爆炸会阻碍网络的收敛。然而这一问题，通过合理的初始化以及中间层的归一化（如BN层），已经在很大程度上得到了改
转载
2024-06-18 18:08:53
82阅读
一、ResNet1.为解决梯度消失、梯度爆炸问题 网络的深度对模型的性能至关重要。当增加网络层数后，网络可以进行更加复杂的特征模式的提取，获取到的图片特征信息越全，学习效果也就越好。所以当模型更深时理论上可以取得更好的结果。但是在实际的试验中发现，更深的网络其性能不一定会更好。 一是梯度消
目录基于残差网络的手写体数字识别实验 模型构建残差单元残差网络的整体结构 没有残差连接的ResNet18模型训练模型评价带残差连接的ResNet18模型训练模型评价与高层API实现版本的对比实验Pytorch torchvision.models总结ref基于残差网络的手写体数字识别实验残差网络（Residual Network，ResNet）
转载
2024-10-25 13:10:35
74阅读
引言借鉴魔傀面具老师和霹雳吧啦Wz老师的代码和课程讲解，完成了不使用Timm库的backbone修改。两位老师的bilibili主页和github主页分别如下：bilibili： 魔傀面具的个人空间-魔傀面具个人主页-哔哩哔哩视频 霹雳吧啦W
开发者指南：实现“fa和stage”
## 1. 概述
在本篇文章中，我将教会你如何实现“fa和stage”。这是一个经验丰富的开发者常用的技巧，能够帮助你更好地管理和控制代码的开发过程。我会按照以下步骤来讲解，以确保你能够顺利掌握其中的每一个环节。
### 步骤概览：
| 步骤 | 描述 |
| ---- | ---- |
| 1. 创建fa | 创建一个新的feature branch |
原创
2024-01-09 23:29:05
58阅读
AlexNetAlexNet是在IMAGENET比赛中第一个获奖的CNN结构。VGGNetVGGNet和AlexNet实际上都是对最传统的CNN进行重复堆叠的实践，将效果较好的结构记录下来方便以后继续使用，常用的有vgga(11层)，vgg16和vgg19。结构如下： (示意图来自于cs231n的课件，有一点小问题，vgg16应该是3个conv层后接pool)ResNet论文原文 https:
转载
2024-03-17 15:10:39
47阅读
stage是顶层显示对象。由于代码addChild(a)等效于this.addChild(a)，这是写在时间轴上的代码，相当于写在文档类上了。this指向文档类实例，所以你的a其实是加在文档类实例上了，也就是第二层显示对象。牢记：stage是舞台，是第一层,root是文档类实例，是第二层 注意：在flex中，由于生成的是swf，因此ro
原创
2021-07-16 16:08:00
102阅读
前言 这段时间到了新公司，工作上开始研究DeepLearning以及TensorFlow，挺忙了，前段时间看了VGG和deep residual的paper，一直没有时间写，今天准备好好把这两篇相关的paper重读下。 VGGnet VGG解读 VGGnet是Oxford的Visual Geometry Group的team，在ILSVRC 2014上的相关工作，主要工作是证明了增加网络的深度能
1、Introduction提出问题：随着网络越来越深，梯度就会出现爆炸或者消失 解决方法： 1、在权重随机初始化的时候，不要特别大也不要特别小 2、在中间加入一些normalization,包括BN（batch normalization)可以使得校验每个层之间的输出和梯度的均值和方差相对来说比较深的网络是可以训练的，避免有一些层特别大，有一些层特别小，使用这些技术之后能够收敛，但是当网络变深的
转载
2024-05-13 09:47:47
931阅读
关于运放参数在我们做电流采样的时候，压摆率这个参数很重要，如果压摆率太小，跟不上电流的变化带来的电压变化，那么我们采样就不会准确，在FOC算法里面，一个完美的正弦波采样信号决定了电流环控制效果。那么我们到底该如何选择运放的这个参数呢。 很多同事，你问他，为什么选这颗运放，他说，参考设计是这样的，或者大家都这么用，这样设计不会错，但是这样设计有没有市场竞争力就比较难说了，参考设计，大家都照着做，大家
FA 和 Stage: 简单理解自动机和状态机
自动机 (Finite Automaton, FA) 和状态机 (Finite State Machine, FSM) 是计算机科学中重要的概念，用于描述不同的计算模型和算法。本文将从基本概念入手，介绍 FA 和 Stage 的基本原理和应用场景，并附带代码示例。
## 自动机 (Finite Automaton, FA)
自动机是一种抽象的计
原创
2024-01-13 01:08:19
87阅读
## 实现"stage和fa"的流程
为了帮助你理解如何实现"stage和fa"，我将分为以下几个步骤来详细介绍。
### 步骤一：了解"stage和fa"的概念
在介绍具体的实现步骤之前，我们首先需要了解"stage和fa"的概念。
- **Stage**：在软件开发中，一个Stage代表着一个任务或者一个阶段。每个Stage都有一个特定的目标，需要完成一系列的操作才能达到目标。
- *
原创
2024-01-09 21:55:57
89阅读
回顾之前，我们已经实现了颜色填充的四边形，以及具有纹理贴图的四边形。如果仅仅只是这些，那实在是太无聊了，通过这些我们能够实现的东西无非就是一堆可以动的图片，当然对于某些需求这已经足够，但我们并不因此而止步。另一方面，GPU硬件的能力也远不止如此，这些单调的贴图四边形远远没有发挥为其提供的巨大资源。接下来我们该研究怎样让GPU尽量地发挥它们应有的价值了。但是为了给GPU施加指令，就需要编写shade
转载
2024-04-01 08:49:56
47阅读
# Python中的Stem：基础与应用
在当今数据科学和自然语言处理(NLP)领域，文本分析和处理无疑是一个热门话题。为了解决文本处理中的一些常见问题，我们通常需要对文本进行语义和词形还原等技术处理，这里就涉及到“Stem（词干提取）”这一概念。下面我们将以Python为基础介绍Stem的相关内容及其在文本处理中的应用。
## 什么是Stem（词干提取）？
Stem（词干提取）是将单词简化
