一、环境和软件： 1.vmware10+ubuntu14.04(32bit) 查看linux操作系统位数：getconf LONG_BIT 2.jdk1.8.0_60（注意要和linux系统位数一致，我的为32位） hadoop2.7.1二、Hadoop 2.0安装部署流程 1.安装jdk 2.Hadoop 2.0单机版安装部署 步骤1：将安装包hadoop-2.2.0.tar.gz
转载
2023-08-06 11:24:06
68阅读
1.安装open-vm-toolssudo apt-get install open-vm-tools2.安装openjdksudo apt-get install openjdk-8-jdk3.安装配置sshapt-get install openssh-server4.在进行了初次登陆后，会在当前家目录用户下有一个.ssh文件夹，进入该文件夹下：cd .sshssh-keygen -t rsa
转载
2023-05-26 16:48:59
195阅读
在CentOS7环境下，hadoop2.7.7部署的实战
原创
精选
2022-08-15 07:11:10
803阅读
hadoop2.7.3 完全分布式集群搭建及任务测试第一步 准备工作准备3台服务器或者虚拟机，为了学习并节省成本，可以使用VirtualBox或者wmware 来创建虚拟机本人使用的是VirtualBox,系统是ubuntu16.04LTS, jdk1.8.0_112, hadoop2.7.3https://www.ubuntu.com/download 下载ubuntu
转载
2024-01-31 21:40:19
72阅读
作为大数据研发工程师基础技能，当开始着手 Hadoop课程教学时，安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有 Hadoop 安装配置教程，但由于对 Linux 环境不熟悉，书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑，导致很多学生折腾老几天愣是没装好，或者看似配置好了，其实还是无法运行，很是打击学习热情。环境本教程使用
转载
2023-11-13 13:40:40
90阅读
一、环境及安装包二、具体步骤1.安装hadoop-2.7.7（jdk安装步骤省略）tar -zxvf hadoop-2.7.7.tar.gz -C /usr/2.系统添加jdk环境变量以及hadoop环境变量[root@node-2 hadoop-2.7.7]# vim /etc/profile
...
export HADOOP_HOME=/usr/hadoop-2.7.7
export PAT
转载
2023-06-19 15:58:59
561阅读
CentOS7上Hadoop2.7.7集群部署hive3+Tez0.9.1
原创
2020-06-01 10:10:49
810阅读
点赞
环境介绍:Centos7 + jdk1.8.0_211 首先、安装JDK1.8.0，详情请移步Centos7下安装配置JDK创建一个用户hadoop，当然也可以使用root用户操作。(我的是使用root操作) 可以创建一个linux用户叫hadoop作为Hadoop的工作者，因为root下是很危险的。sudo useradd -m hadoop -s /bin/bash #创建hado
原创
2022-11-24 12:04:06
206阅读
环境介绍:Centos7 + jdk1.8.0_211一、首先、安装JDK1.8.0，详情请移步Centos7下安装配
原创
2022-11-24 13:46:08
54阅读
下是很危险的。sudo...
原创
2022-11-24 12:05:05
151阅读
hadoop版本：2.7.7配置进入hadoop-2.7.7/etc/hadoop文件夹修改hadoop-env.sh文件、core-site.xml文件、hdfs-site.xml文件、mapred-site.xml文件(原本是一个临时文件需要复制一份)、yarn-site.xml文件// hadoop-env.sh
//修改jdk的位置和pid文件的位置
export JAVA_HOME=/u
转载
2023-08-08 15:14:22
63阅读
Hadoop2.7.7 + Spark2.2.2分布式搭建过程，手把手教你玩！
原创
精选
2018-11-02 16:37:37
7434阅读
点赞
1评论
Hadoop2.7.7 centos7 完全分布式 配置与问题随记这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤，文章内容未经过润色，请参考的同学搭配其他博客一同使用，并记得根据实际情况调整相关参数。 0.preparejdk，推荐1.8关闭防火墙开放ECS安全组 三台机器之间的免密登陆sship映射：【question1】hadoop启动时出现
转载
2021-04-29 14:25:18
223阅读
2评论
安装环境：OS： Ubuntu 16.04Hadoop： hadoop-2.7.3.tar.gzJDK： jdk-8u101-linux-x64.tar.gz一、伪分布式安装JDK的安装不再讲述，直接解压hadoop-2.7.3.tar.gz，得到如下目录：bin
etc
include
lib
libexec
logs
sbin
share 首先修改 etc/hadoop/core-site.
转载
2023-09-27 12:52:27
117阅读
云原生大数据组件研究（Hive+Hadoop）前言网上的找的文档大多残缺不靠谱，所以我整理了一份安装最新版本的hive4..0.0+hadoop3.3.4的学习环境，可以提供大家安装一个完整的hive+hadoop的环境供学习。由于在公司担任大数据的培训工作后续还会更新一些基础的文章,希望能帮助到大家。
一、安装Hadoop3.3.4
前置：集群规划机器信息Hostnamek8s-master
转载
2023-08-16 21:22:02
478阅读
组件版本
组件
版本
下载地址
Hadoop
2.7.7
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
JDK
1.8
https://www.oracle.com/java/technologies/javase/javase-jdk8-
原创
2021-12-04 15:59:54
464阅读
Hadoop 系列之 HiveHive 的官网：http://hive.apache.org/Hive versions 1.2 onward require Java 1.7 or newer.上一篇提到的 MapRedue 虽然简化了分布式应用的实现方式，但还是离不开写代码。Hive 简介Hive 是基于 Hadoop 的一个【数据仓库工具】，可以将结构化的数据文件映射为一
转载
2023-08-28 21:28:09
711阅读
安装hivehive是一个基于hadoop的数据仓库，实质即为一个将MR任务封装为易于编写的hql语句（类似于sql语句）的组件。hive基于hadoop，因此运行hive必须安装hadoop，而hadoop则必须安装jdk。hive作为一个数据仓库，自然需要存储元数据，其内置有一个derby数据库用于存储元数据，但使用derby作为元数据库时只允许单用户单会话连接，生产实用时过于受限，因此常使用
转载
2023-09-20 10:39:14
30阅读
Hive这个框架在Hadoop的生态体系结构中占有及其重要的地位，在实际的业务当中用的也非常多，可以说hadoop之所以这么流行在很大程度上是因为hive的存在。那么Hive究竟是什么，为什么在Hadoop家族中占有这么重要的地位，本篇文章将围绕Hive的体系结构(架构)、Hive的操作、Hive与Hbase的区别等对Hive进行全方面的阐述。
转载
2023-08-25 07:44:44
25阅读
数据仓库工具。构建在hadoop上的数据仓库框架，可以把hadoop下的原始结构化数据变成Hive中的表。（主要解决ad-hoc query，即时查询的问题）支持一种与SQL几乎完全相同的语言HQL。除了不支持更新，索引和事务，几乎SQL其他的特性都支持。可以看成是SQL到Map-reduce的映射器提供shell,JDBC/ODBC,Thrift,Web等接口
转载
2024-08-02 14:30:45
449阅读
