wzlinux的博客_Hadoop

CentOS 7 下 Cloudera 6.3.1 安装 Hadoop 集群

一、软件介绍1、CDH概览CDH（ClouderaDistributionofApacheHadoop）是ApacheHadoop和相关项目中最完整、经过测试和流行的发行版。CDH提供Hadoop的核心元素，可伸缩存储和可扩展分布式计算，以及基于web的用户界面和关键的企业功能。CDH是apache授权的开放源码，是惟一提供统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解

大数据

原创 2020-09-06 16:34:15 4782 阅读

CentOS 7下Cloudera Manager及CDH 6.0.1安装过程详解

一、概念介绍1、CDH概览CDH是ApacheHadoop和相关项目的最完整、最受测试和最流行的发行版。CDH提供Hadoop的核心元素-可伸缩存储和分布式计算-以及基于web的用户界面和重要的企业功能。CDH是Apache许可的开放源码，是唯一提供统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。CDH提供以下特性：灵活性：存储任何类型的数据并使用各种不同的计算框

hadoop

CDH

原创 2018-11-24 12:32:51 10000+阅读 2点赞 20评论

Hadoop 部署之 Spark (六)

一、Spark是什么Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用分布式并行计算框架。Spark拥有hadoopMapReduce所具有的优点，但和MapReduce的最大不同之处在于Spark是基于内存的迭代式计算——Spark的Job处理的中间输出结果可以保存在内存中，从而不再需要读写HDFS，除此之外，一个MapReduce在计算过程中只有map和

hadoop

spark

原创 2018-11-16 17:12:43 1831 阅读 1点赞

Hadoop 部署之 Hive (五)

一、Hive简介1、什么是HiveHive由Facebook实现并开源，是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能，底层数据是存储在HDFS上。Hive的本质是将SQL语句转换为MapReduce任务运行，使不熟悉MapReduce的用户很方便地利用HQL处理和计算HDFS上的结构化的数据，适用于离线的批量数据计算。Hive依

hive

hadoop

原创 2018-11-16 16:44:35 2647 阅读 1点赞

Hadoop 部署之 HBase (四)

一、HBase是什么HBase是建立在Hadoop文件系统之上的分布式面向列的数据库。它是一个开源项目，是横向扩展的。HBase是一个数据模型，类似于谷歌的大表设计，可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统（HDFS）提供的容错能力。它是Hadoop的生态系统，提供对数据的随机实时读/写访问，是Hadoop文件系统的一部分。人们可以直接或通过HBase的存储HDFS数据。

hadoop

hbase

原创 2018-11-16 16:01:25 1565 阅读

Hadoop 部署之 Hadoop (三)

一、Hadoop介绍Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。1、HDFS介绍Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthr

hadoop

hdfs

mapreduce

原创 2018-11-16 15:18:27 2969 阅读

Hadoop 部署之 ZooKeeper (二)

一、Zookeeper功能简介ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、配置维护，名字服务、分布式同步、分布式锁和分布式队列等功能。二、ZooKeeper基本概念1、集群角色一个ZooKeeper集群同一时刻只会有一

hadoop

zookeeper

原创 2018-11-16 11:57:52 984 阅读

Hadoop 部署之环境准备(一)

一、软硬件规划ID主机类型主机名IP应用软件操作系统硬件配置1物理机namenode01192.168.1.200jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10spark-2.3.1|CentOS7.4|6核CPU、8G内存、250存储||2|物理机|datanode01|192.168.1.201|jdk1.8.

hadoop

环境准备

原创 2018-11-15 14:31:55 1227 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

运维点滴记录

CentOS 7 下 Cloudera 6.3.1 安装 Hadoop 集群

CentOS 7下Cloudera Manager及CDH 6.0.1安装过程详解

Hadoop 部署之 Spark (六)

Hadoop 部署之 Hive (五)

Hadoop 部署之 HBase (四)

Hadoop 部署之 Hadoop (三)

Hadoop 部署之 ZooKeeper (二)

Hadoop 部署之环境准备(一)