分布式集群:
Hadoop
收集：flume kafka
存储：HDFS
计算：MapReduce
分布式集群存储（HDFS）：
配置jdk环境变量： vim/etc/proflile
JAVA_HOME=/usr/jdk1.8.0
PATH=$JAVA_HOME/bin:$PATH($:连接到之前的PATH)
e
文章目录Hadoop简介:大数据4V特征：Hadoop三大核心：Hadoop4大特征：Hadoop与普通数据库差别：HDFS环境搭建： Hadoop简介:大数据4V特征：Volume： 90%的数据是过去两年产生----大数据量Velocity： 数据增长速度快，时效性高----速度快Variety： 数据种类和来源多样化：结构化数据，半结构化数据，非结构化数据----多样化Value： 需挖掘
NameNode管理界面：http://namenode:50070JobTracker管理界面：http://jobtracker:50030Hadoop守护进程日志存放目录：可以用环境变量${Hadoop_LOG_DIR}进行配置，默认情况下是${HADOOP_HOME}/logs1．配置类型节点的环境变量在配置集群的时候可以在conf/hadoop-env.sh配置不同节点的环境变量：D
前面写了Linux的Hadoop集群搭建，现在需要把Lniux与eclipes连接起来。完成一些简单常用的api。搭建外部客户端：1、配置环境变量 1.1 配置jdk的环境变量 1.2 配置hadoop的环境变量 变量名：HADOOP_HOME 路径： 1.3修改Path %HADOOP_HOME%\bin 1.4修改系统用户名 在系统变量中新建HADOOP_USER_NAME 值为root 2、
HDFS 的特点 HDFS具有高容错性的特点（fault-tolterant）的特点，因为hadoop部署在 廉价的商用集群上，所以HDFS被设计成认为硬件是常态，具有高容错性。其提供高吞吐量（high throughput）的特性, 用来访问应用程序的数据，适合有超大数据集（large data set）的应用程序。HDFS放宽了对POSIX的要求，这样可以实
HDFS只是Hadoop最基本的一个服务，很多其他服务，都是基于HDFS展开的。所以部署一个HDFS集群，是很核心的一个动作，也是大数据平台的开始。 安装Hadoop集群，首先需要有Zookeeper才可以完成安装。如果没有Zookeeper，请先部署一套Zookeeper。另外，JDK以及物理主机的一些设置等。请参考： Hadoop集群
HA(highavailability）HA使用的是分布式日志管理方式1.问题Namenode出现问题，整个集群将不能使用。配置两个namenode:Activenamenode，standbynamenode2.实现方式1.两个namenode内存中存储的元数据同步，namenode启动时，会读镜像文件。2.编辑日志的安全分布式的存储日志文件，存储于2n+1奇数个节点。（n个节点写入成功，日志写
原创
2019-01-14 13:36:29
564阅读
1. Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。具体请查阅官网2. 需要安装的包（基于centos）yum install libsasl2-dev
yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64
yum install python-devel
yum inst
大数据笔记：HDFS环境搭建标签： 大数据 大数据笔记：HDFS环境搭建Prerequisites安装jdk7安装ssh安装伪分布式HDFS下载更改配置启动hdfs停止hdfs 环境： CentOS6.4 Hadoop 2.6.0 -cdh5.7.0Prerequisites首先我们进入到官方网址http://archive-primary.cloudera.com/cdh5/cdh/5/ha
docker部署apache2 目录docker部署apache2**快速部署直接看命令就行：**1.启动ubuntu16.04容器2.设置docker镜像自动启动并且镜像内apache2服务自动启动 快速部署直接看命令就行：
docker run -itd -v /mnt:/mnt --name ubuntu16 -p 81:81 ubuntu:16.04开启docker容器
sudo dock
转载
2023-08-31 22:10:53
146阅读
一、redis的简介二、redis的准备1、centos7在vmware14的安装 安装虚拟机vmare14并安装centos7，可自行百度安装。 2、redis的下载和解压三、redis的安装四、redis的启动...
原创
2021-12-29 16:25:12
67阅读
5、Replica的数据放哪里？ 首先需要清楚的是数据副本放置的位置对于HDFS的可靠性和性能有非常大的影响，其次在选择副本放置策略的时候，应该可靠性、可用性和带宽利用率三个方面来权衡，HDFS目前的策略是机架感知策略(rack-aware replica placement policy)，一个规模比较大的HDFS集群一般都运行在不同的机架上，机架与机架之间需要通过交换机通信，我们需要清楚的就
Redis集群搭建与简单使用目录Redis集群搭建与简单使用一、安装过程1. 下载并解压2. 编译安装3. 创建 Redis 节点4. 启动各个节点5. 检查 redis 启动情况6.设置防火墙，开放集群端口7.创建集群二、集群测试1.存取测试2.宕机测试三、节点添加1.新增主节点2.新增从节点四、节点移除1.移除主节点2.移除从节点 介绍安装环境与版本用两台虚拟机模拟6个节
转载
2023-07-07 16:17:44
45阅读
1 HDFS概述及设计目标1.1 什么是HDFS：Hadoop实现的一个
原创
2021-08-16 09:43:52
4588阅读
HDFS概述及设计目标什么是HDFS：是Hadoop实现的一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS源自于Google的GFS论文论文发表于2003年，HDFS是GFS的克隆版HDFS的设计目标：非常巨大的分布式文件系统运行在普通廉价的硬件上易扩展、为用户×××能不错的文件存储服务，也就是容错性HDFS官方文档地址如下：https://hadoop.
原创
精选
2018-03-24 19:51:20
10000+阅读
点赞
1 HDFS概述及设计目标1.1 什么是HDFS：Hadoop实现的一个分布式文件系统（Hadoop Distributed File System），简称HDFS源自于Google的GFS论文论文发表于2003年，HDFS是GFS的克隆版1.2 HDFS的设计目标：非常巨大的分布式文件系统运行在普通廉价的硬件上易扩展、为用户提供性能不错的文件存储服务HDFS官方文档地...
原创
2022-01-18 11:24:54
236阅读
什么是NameNode Fedaeration联邦（HDFS联邦，Hadoop联邦）？单个 NameNode 的集群架构使得 HDFS 在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NameNode 进程用于存放元数据的内存可能会达到上百 G，NameNode 成为了性能瓶颈。为了解决NameNode内存不足导致无法存放更多元数据的瓶颈，提出了 NameNode 的水平扩展方
原理： 1，每个Redis群集的节点都需要打开两个TCP连接，由于这两个连接就需要两个端口，分别是用于为客户端提供服务的常规Redis TCP命令端口（例如6379）以及通过将10000和命令端口相加（10000+6379）而获得的端口，就是集群端口（例如16379）。 2，节点使用群集总线进行故障 ...
转载
2021-11-03 22:37:00
131阅读
2评论
