数据预处理（Data Preprocessing）
零均值化（Mean subtraction）为什么要零均值化？人们对图像信息的摄取通常不是来自于像素色值的高低，而是来自于像素之间的相对色差。零均值化并没有消除像素之间的相对差异（交流信息），仅仅是去掉了直流信息的影响。数据有过大的均值也可能导致参数的梯度过大。如果有后续的处理，可能要求数据零均值，比如PCA。假设数据存放在一个
转载
2024-06-03 10:14:54
54阅读
目录前言局部连接参数共享卷积层卷积运算卷积运算过程——二维卷积运算代码实现——二维卷积层及代码实现——三维代码实现——3D增加步长的卷积运算 前言发展卷积神经网络的初衷是进行图像分类。图像主要有如下3个特性多层次结构：如一张人脸由鼻子、嘴巴、眼睛等组成特征局部性：如眼睛在一张图片中就局限在一个小区域内平移不变性：如不管眼睛出现在图片的哪个位置，特征提取器都可以找出来虽然卷积网络是为图像分类而发展
转载
2024-03-19 13:42:08
144阅读
CNN 最早主要用来处理图像信息. 如果用全连接 (fully connected) FNN 来处理, 则会有以下问题:参数太多: 这会导致训练效率低下, 容易过拟合.局部不变性特征: 自然图像中的物体都具有局部不变性特征, 比如 scaling, shifting and rotating 都不影响语义信息. 而 FC FNN 很难提取这些特征.CNN 有三个结构上的特性: local conn
转载
2024-05-11 21:08:26
117阅读
1.1 什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive本质是：将HQL转化为MapReduce程序1.2 Hive优缺点1.2.1 优点1） 操作接口采用类 SQL 语法，提供快速开发的能力（简单、容易上手）。2）避免了去写 MapReduce，减少开
转载
2023-08-16 18:43:02
430阅读
1.Hive 是什么hive 是一个构建在Hadoop上的数据仓库工具,它可以让结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,剋将SQL语句转换为MapReduce任务进行运行,其优点是学习成本低.hive的目的是让精通SQL技能的分析师能够在Facebook存放在HDFS的大规模数据集上进行查询操作. 目前,Hive已经成为一个通用的、可伸缩的数据处理平台. 2.Hi
转载
2023-08-14 10:46:39
123阅读
AlexNet VGGNet Google Inception Net ResNet这4种网络依照出现的先后顺序排列，深度和复杂度也依次递进。它们分别获得了ILSVRC（ImageNet Large Scale Visual Recognition Challenge）比赛分类项目的2012年冠军（top-5错误率16.4%，
转载
2024-06-07 11:33:42
58阅读
3.3 其他特点TensorFlow有很多的特点，当然这些特点不见得都是独一无二的。1 .多环境与集群支持首先，TensorFlow支持在PC的CPU环境、GPU环境甚至是安卓环境中运行。它不仅可以支持在单个计算单元（一颗CPU的多核心或一颗GPU的多核心）上进行运算，也支持一台机器上多个CPU或多个GPU上并行计算。2016年4月14日，Google发布了分布式TensorFlow，能够支持在几
目录前言： 一 Hive的优缺点二 hive的架构三 hive和数据库的比较四 hive安装总结前言：结构化日志的数据统计工具。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL
转载
2023-07-14 12:54:26
1341阅读
卷积神经网络又称为CNN，在类别上是属于前馈神经网络的一种，是深度学习的代表算法之一。在上世纪八十年代末被提出之后一直处于沉寂之中，进入2010年后，随着计算机理论知识和计算机硬件算力的不断发展卷积神经网络又开始热门起来。如今CNN已经发展出了十数种十分具有代表性的模型，CNN也已广泛应用于计算机视觉、自然语言处理等领域。一
转载
2023-11-10 19:37:00
91阅读
在大数据处理领域，Hadoop、MapReduce 和 Spark 是三个重要的分析平台，它们各自拥有独特的优点和局限性。本文将通过对这三者的比较，深入解析其优缺点，帮助用户在不同场景下进行平台选择。
## 问题背景
随着大数据时代的到来，企业希望通过数据分析提升决策效率。这不仅涉及到数据量的快速处理，还需要各类算法的灵活使用，因而选择合适的大数据处理平台显得尤为重要。为了帮助用户做出合理选择
一：Java的异常处理机制的优点：1：把各种不同情况的异常情况分类，使用JAVA类来表示异常情况，这种类被称为异常类。把各种异常情况表示成异常类，可以充分的发挥类的可扩展性和可重用性。2：异常流程的代码和正常流程的代码分离，提高了代码的可读性，简化了代码的结构。3：可以灵活的处理异常，如果发生了异常程序员可以手动抛出异常，也可以交给调用者来处理异常。二：Java虚拟机的方法调用栈Java虚拟机用方
转载
2023-07-10 22:44:47
242阅读
# 比较 MapReduce、Hadoop 和 Spark 平台的优缺点
在处理大数据时，我们通常会选择不同的平台进行数据处理。三个最流行的平台为 MapReduce、Hadoop 和 Spark。本文将详细比较这三个工具的优缺点，帮助新手开发者理解它们各自的特点与适用场景。为便于理解，整个学习过程可以分为几个步骤，具体见下表：
| 步骤 | 描述
初步了解神经网络最早的神经元模型-感知器上图的圆圈就代表一个感知器。它接受多个输入（x1，x2，x3...），产生一个输出（output），好比神经末梢感受各种外部环境的变化，最后产生电信号。 为了简化模型，我们约定每种输入只有两种可能：1 或 0。如果所有输入都是1，表示各种条件都成立，输出就是1；如果所有输入都是0，表示条件都不成立，输出就是0。各种因素很少具有同等重要性：某些因素是决定性因素
转载
2024-01-13 12:43:14
66阅读
1.IP编址与地理分布-物理与逻辑的边界IP路由的效率和路由器以及主机的地理分布关系重大，地理分布零散带来的后果就是路由表的庞大，因为在这个无线核心网络还远未实现的时期，网络的本质就是一根根的线缆连接着的一台台的设备，同时在这个总线型架构早已被淘汰的年代，一根线缆只能连接两台设备，一根线缆构成了一个物理网络或者多根线缆构成了一个同一网段的链路层，而线缆是实实在在铺设在地面或者地下的，虽然CIDR已
原创
2012-11-24 11:00:00
470阅读
一，关系型数据库**例如mariadb mysql oracle 关系型数据库最典型的数据结构是表，由二维表及其之间的联系所组成的一个数据组织。优点：1.易于维护：都有使用表结构，格式一致；
2.使用方便：sql语言通用，可用于复杂查询；
3.复杂操作：支持SQL，可用于一个表以及多个表之间非常复杂的查询。缺点：1.读写性能比较差，尤其是海量数据的高效率读写；
2.固定的表结构，灵活度稍欠；
3.
转载
2024-02-23 22:35:24
22阅读
一、三个判断// 第一种：if else,if,else,
// 第二种：三元运算符（三目运算符）
// 应用于简单的if else判断
// 第三种：switch case
// 应用于不同值情况的判断
// if(条件1){
// 条件1成立执行的代码
// }else if( 条件2){
// 条件2成立执行的代码
//
转载
2024-01-10 13:31:01
291阅读
作者：Keivan Chanhive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapRed
转载
2024-06-25 21:13:48
20阅读
第三章、网络优化3.1 输入端优化1：数据增强&归一化数据增强数据增强是和迁移学习一样，解决数据不足的手段数据增强的优点：模型性能得到提升增加训练样本的多样性，避免过拟合数据增强的方式：翻转：水平翻转、垂直翻转旋转：一般旋转90°、180°裁剪：随机裁剪原图像中的一部分，不要裁的太小增加亮度增加噪声：高斯噪声随机缩放+随机裁剪+随机分布注意：数据增强的多样性：注意多种增强方式搭配合适的增强
转载
2023-08-22 22:42:03
49阅读
1、介绍下卷积操作的作用卷积网络中的卷积核参数是通过网络训练出来的通过卷积核的组合以及随着网络后续操作的进行，卷积操作可获取图像区域不同类型特征；基本而一般的模式会逐渐被抽象为具有高层语义的“概念”表示，也就是自动学习到图像的高层特征。2、CNN结构特点局部连接，权值共享，池化操作，多层次结构。1、局部连接使网络可以提取数据的局部特征2、权值共享大大降低了网络的训练难度，一个Filter只提取一个
转载
2024-03-20 10:48:07
113阅读
FCN论文笔记（看目录就知道有多详细:）一、简介二、对CNN的fc层进行卷积化三、transpose convolution （deconv）（Up-sampling）四、跳跃连接skip layer（也叫特征融合，补偿前后的特征图）五、与传统CNN比较结果总结：六、模型细节（训练技巧）（对原文做的一个总结）七、损失函数NLLLoss（）八、数据集九、encode label 标签编码十、模型的
