一、初级班全套视频1、linux使用（3节）2、伪分布模式安装hadoop（2节）3、HDFS的体系结构和操作（2节）4、HDFS的java操作方式（4节）5、代码二、中级班全套视频1、MapReduce入门（2节）2、MapReduce的源码简介和自定义类型（4节）3、mapReduce的剩余核心环节讲解（5节）4、MapReduce的自定义排序和分组（3节）5、hadoop的集群安装和安全模式
原创
2014-10-27 21:31:23
1662阅读
一、 VMware vSAN 简述 通过超融合基础架构 (HCI)，可将存储、计算和网络连接功能整合到一个系统中。这种经过简化的解决方案可使用软件和 x86 服务器来替代专门构建的昂贵硬件。 vSA
转载
2023-08-13 17:28:41
311阅读
最近几年来，企业存储系统的发展停滞不前，缺乏创新，已经成为数据中心或企业环境之中最保守的组件。与传统外置存储主要依靠硬件组件冗余的方式来确保高可用性不同，vSAN依靠的是被互联网分布式系统验证过了的多副本方式。vSAN 提供了基于存储策略的存储管理 SPBM (Storage Policy-Based Management)，管理员创建多个存储策略，利用 SPBM 来对 vSAN 存储进行灵活地管
1 Hadoop 简介1.1 Hadoop 由来数据容量大数据时代数据量超级大，数据具有如下特性：Volume(大量)Velocity(高速)Variety(多样)Value(低价值密度)以前的存储手段跟分析方法现在行不通了！Hadoop 就是用来解决海量数据的 存储 跟海量数据的 分析计算 问题的，创始人 Doug Cutting 在创建 Hadoop 时主要思想源头是 Google 三辆马车
原创
2021-02-02 09:34:08
460阅读
随着超融合在国内市场兴起并逐步成为主流，越来越多的厂商开始挺进这一市场，超融合产品不断涌现。企业用户的数字化转型发展得益于超融合架构的创新推动，那么在甄选超融合产品时，有必要先了解一下超融合的“前世今生”。超融合作为IT的一部分，其演进并不是一个独立和一蹴而就的过程，而是和经济的持续发展与转型密切相关。可以说，经济的优化和调整推动了传统IT向新IT的转型，从而也推动了超融合的持续演进和发展。超融合
本文主要介绍了如何进行超参数调优，包括如何选择合适的范围。其次介绍了Batch Norm批归一化以及Softmax回归，最后简单介绍了一下TensorFlow。
原创
2022-07-13 19:21:10
420阅读
其中有很多内容参考博客算法简介误差反向传播算法简称反向传播算法（即BP算法）。使用反向传播算法的多层感知器又称为BP神经网络。BP算法是一个迭代算法，它的基本思想为：（1）先计算每一层的状态和激活值，直到最后一层（即信号是前向传播的）；（2）计算每一层的误差，误差的计算过程是从最后一层向前推进的（这就是反向传播算法名字的由来）；（3）更新参数（目标是误差变小）。迭代前面两个步骤，直到满足停止准则（
hadoop集群 如上图所示，HDFS也是按照Master和Slave的结构。分NameNode、SecondaryNameNode、DataNode这几个角色。1、NameNode：是Master节点，是大领导。管理数据块映射；处理客户端的读写请求；配置副本策略；管理HDFS的名称空间； nameNode概述 &nb
转载
2023-07-12 13:30:39
89阅读
网上的转载，但超详细http://blog.csdn.net/xiaojin21cen/article/details/42611073我主要关注第三个问题，他们是主、备关系，但是datanode必须要求一致的吧问题导读：1、hadoop ha是通过什么配置实现自动切换的？2、配置中mapred与mapreduce的区别是什么？3、hadoop ha两个namenode之间的关系是什么？-- ha
转载
精选
2016-09-22 09:01:40
460阅读
华为E9000融合架构刀片服务器 (数据中心基础设施) 1. 背景知识 1、虚拟化：把一个物理实体通过虚拟化技术变成若干个逻辑上的对应无，有两种虚拟技术的实现： ①、时分复用技术：利用处理机的空闲时间来运行其它程序(例如CPU并发处理多个进程，给用户的感觉就是有多个CPU分别执行了多个程序) ②、空分复用技术：利用存储器的空闲空间来存放其它程序(例如电脑硬盘被分成CDEF四个盘 + 虚拟
Windows Server 2022 超融合部署超融合基础设施（HCI， Hyper-Converged Infrastructure）的概念简单说就是将<计算>和<存储>资源通过网络，以软件定义的形式打通，合二为一，从而能够实现关键应用的负载均衡、高可用、统一管理以及横向扩展等功能。架构思路计算资源的高可用依靠【故障转移群集】功能存储资源的高可用依靠【存储空间直通】功能
一、概述每个小文件无论多小都会对应一个block，而每一个小文件在NameNode中都要有元数据的记录，如果存在大量小文件，则NameNode中的大量空间都用来存放这些小文件的元数据信息，其实是相当浪费的，对于NameNode的性能有比较大的影响当使用mapreduce处理大量小文件时，默认情况下mapreduce在进行切片操作时规则是和block切的规则一样，即一个block一个InputSpl
转载
2023-07-12 12:40:02
58阅读
本篇文章主要介绍在windows下使用vmware虚拟机Hadoop高可用集群搭建配置简要步骤：①、克隆3台机器(可以从之前分布式的2台机器找一台即可)②、设置静态IP③、配置主机名、IP映射④、新建hadoop用户⑤、配置ssh免密登陆⑥、配置zookeeper⑦、检查环境变量⑧、修改配置文件⑨、关闭防火墙、守护进程⑩、启动(启动、关闭脚本) 详细步骤：一、这里我选择了Ne
参考http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/a) 安装准备所有机器的用户名和$HOME目录配置一致；（用户名、密码、目录结构）所有机器JDK的安装目录为/usr/lib/jvm/java-6-openjdk；每台机器的/etc/hosts文
安装： 1）上传 2）解压 tar -xvzf hadoop-2.7.7.tar.gz 3）配置环境变量 在/home/hadoop/apps/执行下面的命令 ln -s hadoop-2.7.7 hadoop 修改环境变量： export HADOOP_HOME=/home/hadoop/apps/hadoop export PATH=HADOOP_HOME/bin:$HADOOP_HOME/s
网上的转载，但超详细http://blog.csdn.net/xiaojin21cen/article/details/42611073我主要关注第三个问题，他们是主、备关系，但是datanode必须要求一致的吧问题导读：1、hadoop ha是通过什么配置实现自动切换的？2、配置中mapred与mapreduce的区别是什么？3、hadoop ha两个namenode之间的关系是什么？-- ha
转载
精选
2016-09-22 09:04:15
710阅读
←上一篇↓↑下一篇→4.6 前向和反向传播回到目录4.8 这和大脑有什么关系参数 vs 超参数 (Parameters vs. Hyperparameters)想要你的深度神经网络起很好的效果，你还需要规划好你的参数以及超参数。什么是超参数？比如算法中的learning rate
α
原创
2022-04-18 18:42:21
55阅读
