1.protobuf编译安装[root@hadoop1 ~]# yum install svn autoconf automake libtool cmake ncurses-devel openssl-devel gcc*
[root@hadoop1 ~]# tar&
原创
2017-08-28 18:08:11
1177阅读
点赞
环境说明：[root@hadp-master sbin]# hadoop versionHadoop 2.7.4 一、 脚本封装全部一起启动、关闭1.1 启动[root@hadp-master sbin]# ./start-all.sh This script is Deprecated. Inst
转载
2017-08-27 21:44:00
66阅读
2评论
本文主要描述Sqoop1.4.6的安装配置以及使用。一、安装配置1、Sqoop安装[hadoop@hdp01~]$wgethttp://mirror.bit.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz[hadoop@hdp01~]$tar-xzfsqoop-1.4.6.bin__hadoop-2.0.4-
原创
2017-12-28 16:42:54
4564阅读
一、环境 windows 7 64bit jdk 1.8 hadoop 2.7.4 下载地址：http://hadoop.apache.org/releases.html二、步骤
原创
2017-09-29 09:35:53
7007阅读
1评论
一、hadoop fs 命令1、hadoop fs –fs [local | <file system URI>]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR
转载
2023-05-30 14:35:58
62阅读
首先: 参考 ://blog..net/zhang1234556/article/details/77621487 搭建好hadoop集群。 然后，在master节点安装pig。 我们用MapReduce进行数据分析。当业务比较复杂的时候，使用MapReduce将会是一个很复杂的
转载
2018-01-28 21:18:00
318阅读
2评论
一、 相关概念 Hive Metastore有三种配置方式，分别是： Embedded Metastore Database (Derby) 内嵌模式Local Metastore Server 本地元存储Remote Metastore Server 远程元存储1.1 Metadata、Metas
转载
2017-09-17 20:25:00
310阅读
2评论
# 实现“bde2020/hadoop-datanode:2.0.0-hadoop2.7.4-java8”镜像的步骤
## 1. 确认环境
在开始之前，确保你已经具备以下环境：
- Docker已经安装并配置好
- 有基本的Docker知识
## 2. 拉取镜像
首先我们需要拉取hadoop-datanode镜像，版本为2.0.0-hadoop2.7.4-java8，使用以下命令：
```ma
原创
2023-09-09 14:24:35
351阅读
一、概述本次实验采用VMware虚拟机，linux版本为CentOS7；因为实验所需的5台机器配置大多相同，所以采用配置其中一台，然后使用克隆功能复制另外4份再做具体修改；其中有些步骤以前配置过，此处就说明一下不再做具体配置，具体配置可翻阅以前的博文。二、实验环境1.关闭selinux和firewall2.hadoop-2.7.4.tar.gz；zookeeper-3.4.10.tar.gz；jd
原创
2017-08-30 11:31:53
3134阅读
点赞
Hadoop2.7.4完全分布式集群构建
原创
2018-12-14 19:10:01
656阅读
云计算的几大形式云计算服务类型 基础设施即服务（IaaS） - 提供硬件设备 ：例如 个人搭建网站不需要再去租服务器，买数据库，可在云平台上付费购买空间及相应服务。
eg. Google app engine ; Amazon Web Services (AWS) ; 阿里云；新浪云软件即服务（SaaS） - WebService ： 各系统之间可以相互交互网络服务平台即服
转载
2023-12-01 10:05:10
54阅读
前言 l 云计算领域目前有两大代表性系统： Google 和 Amazon ，它们各自的存储系统为 Google GFS 和 Amazon S3 l Hadoop HDFS 就是 Google GFS 存储系统的开源实现，主要应用场景是作为并行计算环境（ MapReduce ）的基础组件，同时也是 Bigtable （如 HBase 、 HyperTabl
转载
2023-09-22 12:50:39
61阅读
? 所属专栏：【大数据学习笔记（华为云）】 ? 作 者：我是夜阑的狗? ? 个人简介：一个正在努力学技术的码仔，专注基础和实战分享 ，欢迎咨询！ 文章目录前言1. 购买云ECS主机2. 开发环境step1 创建hadoop用户step2 更新aptstep3 安装最新版本的Javastep4 配置SSH无密码登陆节点3. 安装Hadoopstep1 下载step2 解压step3 配置Had
转载
2024-05-24 07:08:32
207阅读
Apache Hadoop是一个开源的、可靠的、灵活的、分布式的计算系统（来自官网）作者：Doug Cutting主要受Google三篇论文的启发（GFS、MapReduce、BigTable）Hadoop海量数据的存储(HDFS)Hadoop Distributed File System海量数据的分析(MapReduce)Hadoop2.0后出
转载
2023-09-20 07:20:37
38阅读
在云上运行Hadoop，很多人担心性能。因为一提到虚拟化就会有人想到有成本，往往得出有偏见的结论-在云上运行肯定比物理机器上运行性能差。如果单独把10台物理机虚拟化跑Hadoop，这肯定是有部分性能的开销的。但是如果在公共云上，情况就不是这样了。因为公共云虚拟化的开销最终是由平台方来承担的，其一是平台方采购机器有规模优势，其二平台方可以在保证虚拟机性能的情况超卖部分资源。平台卖给用户8core32
转载
2024-01-12 14:57:43
66阅读
# 系统信息3台 系统： centos6.8 内核：4 内存：4G 硬盘：50G# 主机名称，ip地址master: 10.200.201.110slave1: 10.200.201.111slave2: 10.200.201.112######################## 基础初始配置 ################
原创
精选
2017-12-04 16:46:14
10000+阅读
点赞
7评论
hadoop 提供了两种方式对hdfs 进行访问：1 配置客户端，后台连接到客户端进行工作客户端的配置比较简单，只要把配置好的hadoop的namenode节点的hadoop 打包，发到另一台机器（该机器不出现在 etc/hadoop/slaves里就可以）设置一下环境变量 JAVA_HOME HADOOP_HOME 还有一些在hadoop xml配置的临时文件目录等 也改一下（启动时查看日志，根
转载
2023-07-21 16:57:04
54阅读
一、Hadoop基本架构Hadoop有许多发行版本，基本可以分为1.x版本和2.x版本。两者基本组成如下： 1、HDFS（Hadoop Distributed File System）其基本思想源自于Google的GFS论文，HDFS是GFS克隆版。HDFS特点 1、良好的扩展性 2、高容错性 3、适合PB级以上海量数据的存储基本原理 1、将文件切分成等大的数据块，存储到多台机器上 2、
转载
2023-06-14 22:11:32
141阅读
什么是云计算？摘抄一段wikipedia上的权威解释：云计算 （cloud computing ，台湾译作云端运算 ），是一种基于互联网 的计算新方式，通过互联网上异构、自治的服务为个人和企业用户提供按需即取的计算。由于资源是在互联网上，而在计算机流程图中，互联网云计算的资源是动态易扩展 而且虚拟化云计算可以认为包括以下几个层次的服务：基础设施即服务（IaaS），平台即服务 （PaaS）和软件即服
转载
2023-08-13 17:40:35
156阅读
波若大数据平台（BR-odp）Hadoop + HDFS+Hive+Hbase大数据开发工具剖析：HDFS：分布式、高度容错性文件系统,能提供高吞吐量的数据访问,非常适合大规模数据集上的应用，大规模的波若大数据平台（BR-odp）用户部署上1000台的HDFS集群。数据规模高达50PB以上HDFS和MR共同组成Hadoop分布式系统体系结构的核心。HDFS在集群上实现了分布式文件系统，MR在集群上
转载
2023-07-13 00:16:26
62阅读
