Batch Normalization 1.随机梯度下降法（SGD）对于训练深度网络简单高效，但是它有个毛病，就是需要我们人为的去选择参数，比如学习率、参数初始化、权重衰减系数、Drop out比例等。这些参数的选择对训练结果至关重要，以至于我们很多时间都浪费在这些的调参上。那么使用BN之后，你可以不需要那么刻意的慢慢调整参数。 2.BN的地位：与激活函数层、卷积层、全连接层、池化层一样，BN(B
A.为什么需要轻量化网络？小模型有更高效的分布式训练效率。通信开销一直是分布式CNN训练的制约因素，在数据并行训练中，通信开销与模型参数是成比例的，模型越小，通信开销就越小。推送一个新模型到客户端，开销更小。例如自动驾驶领域，汽车辅助驾驶系统中的CNN模型在更新的时候需要更大的数据传输，以AlexNet为例，从服务器到客户端至少需要240MB 通信开销，更小的模型需要更少的开销，日常更新更容易。更
在移动应用场景中，三维模型的重量对于应用的性能、流畅度和用户体验都有很大的影响。而三维模型轻量化技术可以通过减少模型数据的大小，从而降低模型对于移动设备资源的占用。下面我们来谈谈三维模型轻量化在移动应用场景的作用。 首先，三维模型轻量化技术可以降低模型对于移动设备资源的占用。移动设备的内存、存储和计算资源有限，而三维模型通常具有很高的多边形数量和复杂的纹理贴图，因此需要大量的计算资源和存储资源来处
转载
2023-09-08 08:58:24
332阅读
为什么要有深度学习？
深度学习可以用更多的数据或是更好的算法来提高学习算法的结果。对于某些应用而言，深度学习在大数据集上的表现比其他机器学习（ML）方法都要好。性能表现方面，深度学习探索了神经网络的概率空间，与其他工具相比，深度学习算法更适合无监督和半监督学习，更适合强特征提取，也更适合于图像识别领域、文本识别领域、语音识别领域等。为什么深度学习会如此被热衷，因为它不以任何损失
流程图如下所示：
```mermaid
flowchart TD
A(问题：深度学习为什么要轻量化模型) --> B(流程)
B --> C(步骤1：选择合适的模型架构)
B --> D(步骤2：优化模型参数)
B --> E(步骤3：减少模型大小)
C --> F(代码示例1)
D --> G(代码示例2)
E --> H(代码示例3)
原创
2023-09-16 17:45:07
158阅读
写了一个轻量级的Android操作数据库的ORM工具。方便Android定义数据库，操作数据库（增删改查），数据库更新，实现了Android对象与数据库对象之间的映射。源码地址：轻量级Android操作数据库ORM工具。可以直接gradle依赖~Android数据库操作工具使用步骤用Navicat（或其他工具）新建一个SQLite数据库文件，放在工程res文件下的raw文件夹里；继承Abstrac
轻量化网络ShuffleNet一 论文研究背景、成果及意义现有方法（在此模型发表之前）本文方法本文成果二 ShuffleNet意义三 论文内容理解3.1 摘要核心3.2 分组卷积3.3 点卷积3.4 通道重排四 ShuffleNet基本结构单元4.1 卷积块特点4.2 FLOPs4.3 ShuffleNet网络构成五 ShuffleNet V2创新与改进四个新发现创新与改进 ShuffleNet
随着计算机图形学和三维建模技术的不断发展，三维模型在游戏、动画、建筑等领域中越来越广泛地应用。然而，随着三维模型的复杂性和细节的增加，其文件大小也越来越大，给计算机处理和渲染带来了很大的负担。
转载
2023-08-01 07:23:22
206阅读
一、轻量化网络的为何诞生 深度神经网络模型被广泛应用在图像分类、物体检测，目标跟踪等计算机视觉任务中，并取得了巨大成功。随着时代发展，人们更加关注深度神经网络的实际应用性能，人工智能技术的一个趋势是在边缘端平台上部署高性能的神经网络模型，并能在真实场景中实时(>30帧)运行，如移动端/嵌入式设备，这些平台的特点是内存资源少，处理器性能不高，功耗受限，这使得目前精度最高的模型根本无法在这些平
# 实现轻量化的深度学习网络模型
## 1.整体流程
下面是实现轻量化的深度学习网络模型的整体流程：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 导入必要的库和模块 |
| 2 | 加载数据集 |
| 3 | 数据预处理 |
| 4 | 构建轻量化的深度学习网络模型 |
| 5 | 模型训练 |
| 6 | 模型评估 |
| 7
原创
2023-07-29 11:25:58
194阅读
论文：《ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices》—Face++1.shuffle具体来说是channel shuffle，是将各部分的feature map的channel进行有序的打乱，构成新的feature map，以解决group convolution带来的[信息流
提高网络的效率和减少网络参数、计算量是CNN网络发展的重要方向，这篇总结主要介绍squeezeNet、mobileNet、xception、shuffleNet。这四个模型的操作有类似的处理方式，也有互相值得借鉴的地方。下面将对这四个模型进行介绍，然后最后做一个总结分析以及展望。
一、简介 1， SqueezeNet: SqueezeNet对比
转载
2023-06-02 15:29:48
2013阅读
作者 | 王山 仿真秀科普作者导读：轻量化是当今各整车厂在产品开发中无法回避的问题。当考虑到成本与工艺方面时，更是不容易解决的问题。对于高端车型，其较高的设计与生产成本允许其采用先进的轻量化设计与生产工艺，如碳纤维复合材料，铝镁合金材料，液压成型工艺，差厚板，激光拼焊等；对于低端车型来说，因较低的成本限制，则主要从结构设计角度来解决轻量化问题。但不论从材料，工艺还是结构方面实现轻量化，都
深度学习网络的轻量化 由于大部分的深度神经网络模型的参数量很大，无法满足直接部署到移动端的条件，因此在不严重影响模型性能的前提下对模型进行压缩加速，来减少网络参数量和计算复杂度，提升运算能力。 一、深度可分离卷积 了解深度可分离卷积之前，我们先看一下常规的卷积操作：对于一张 \(3 \times 1 ...
转载
2021-07-17 11:30:00
3248阅读
2评论
# 项目方案：深度学习网络轻量化
## 背景
深度学习网络在计算机视觉、自然语言处理等领域取得了显著的成绩，但是由于深度学习模型的复杂性，其在移动设备和嵌入式系统上的应用受到了限制。为了在资源受限的环境中实现高性能的深度学习应用，需要对深度学习网络进行轻量化。
## 方案概述
本项目方案旨在提出一种深度学习网络轻量化的方法，通过减少模型的参数和计算量，从而在保持模型性能的同时，降低模型的复杂性
原创
2023-07-27 05:00:38
138阅读
一、空洞卷积1、dilated的好处就是不做pooling损失信息的情况下，加大了感受野，让每个卷积输出都包含较大范围的信息。在图像需要全局信息或者语音文本需要较长的sequence信息依赖的问题中，都能很好的应用空洞卷积。2、Deep CNN对于其他任务的一些致命性缺陷，较为著名的是：up-sampling和pooling layer的设计，在Hinton的演讲中也提到过：1）上采样和池化层是不
转载
2023-09-21 11:12:57
89阅读
原文： SqueezeNet:AlexNet-Level accuracy with 50X fewer parameters and <0.5MB model size论文链接：https://arxiv.org/abs/1602.07360开源网络结构（caffe版本）：https://github.com/DeepScale/SqueezeNet原文链接：SqueezeNet
一、轻量化1.1 轻量化网络网络名称记忆点备注MobileNetV1深度可分离卷积替换传统卷积计算量和参数量下降为原来的1/Dk^2（Dk为卷积核kernel size，一般为3，所以计算量约为1/9）深度卷积的激活函数是Relu6下采样是通过3x3的深度卷积stride=2MobileNetV2Linear Bottelneck最后的Relu6换成了LinearInverted Residual
深层神经网络技术总结虽然之前说写博客记录下学习过程, 但写了一篇就停了, 过了一个多月还是重新开始吧1 简介 单隐层的神经网络可以完成一些任务，但是有些函数或任务只有非常深的神经网络能学会，而更浅的模型则办不到。对于单隐层的神经网络，我们可以称其为浅层神经网络，如下图所示，X为输入层，中间的三个节点为隐藏层，后面的一个节点为输出层。 &nb
转载
2023-06-01 15:26:29
203阅读
写在前面：此文只记录了下本人感觉需要注意的地方，不全且不一定准确。详细内容可以参考文中帖的链接，比较好！！！ 最近看的轻量化神经网络：SqueezeNet、Xception、MobileNet、ShuffleNet时间轴2016.02 伯克利&斯坦福提出 SqueezeNet2016.10 google提出 Xception2017.04 google提出 MobileNet2017.07
