hive 2.3.2版本安装
原创
2017-11-29 20:36:12
722阅读
点赞
前言大数据开发涉及的组件和方向比较多，由于之前项目使用的都是成熟的大数据产品CDH或者HDP，里面封装了多个大数据组件，对于企业而言，无论是体验还是维护都比较友好，但对于开发人员来说，太过于集成，反而不太好了解各个组件具体的配置细节，本篇文章就从hadoop开始来深入探讨。一、hadoop简介hadoop从发布至今，已经更新到第三个大版本，除了从1.0到2.0版本有着非常大的改进更新外，到3.0后
转载
2024-09-25 10:39:46
22阅读
一：安装JDK hadoop2.x最低jdk版本要求是：jdk1.7（不过用最新的：jdk1.8，因为jdk是兼容旧版本的，而且我们使用的其他软件可能要求的jdk版本较高）
转载
2020-02-13 20:13:00
642阅读
2评论
## 安装hadoop2的流程
### 1. 下载hadoop2
首先，你需要从hadoop的官方网站上下载最新版本的hadoop2。你可以在以下网址找到最新版本的下载链接：[
### 2. 安装Java开发工具包（JDK）
Hadoop是用Java编写的，所以在安装hadoop之前，你需要确保已经安装了Java开发工具包（JDK）。你可以从Oracle的官方网站上下载最新版本的JDK。
#
原创
2023-09-13 10:23:21
88阅读
SSH设置
在Hadoop启动以后，Namenode是通过SSH（Secure Shell）来启动和停止各个节点上的各种守护进程的，这就需要在节点之间执行指令的时候是不需要输入密码的方式，故我们需要配置SSH使用无密码公钥认证的方式。
首先要保证每台机器上都装了SSH服务器，且都正常启动。实际中我们用的都是OpenSSH，这是SSH协议的一个免费开源实现。FC5中默认安装的OpenSSH版本是
转载
精选
2011-02-09 16:17:53
318阅读
一、分布式模型1、环境准备准备4个节点，master1为主控节点（NameNode、SecondaryNameNode、ResourceManager），master2-4作为数据节点（DataNode、NodeManager）。并做好ntp时间同步1.1每个节点配置JAVA环境[root@master1~]#vim/etc/profile.d/java.shexportJAVA_HOME=/us
原创
2018-04-22 22:33:12
1140阅读
点赞
下载 https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/ jdk 安装`
原创
2021-08-01 09:24:37
167阅读
一：准备三台虚拟机，配置同步1 创建模板机，关闭防火墙、静态IP、主机名称这里三台虚拟机使用4g4核50g内存，centos7,主机名为hadoop100，IP地址192.168.88.100，root密码为000000；修改主机名hostnamectl set-hostname hadoop100修改静态IPcd /etc/sysconfig/network-scripts/
ls
vi ifc
安装前准备首先需要安装JDK并配置java环境变量，我安装的是jdk1.8.1。 下载hadoop-2.7.2.tar.gz，解压到：/usr/hadoop， 解压之后进行配置就可以使用配置hadoop环境变量配置export JAVA_HOME=/usr/java/jdk1.8.0_101
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.
转载
2023-08-18 08:28:13
51阅读
一、实验目的（1）掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法；（2）熟悉 HDFS 的基本使用方法；（3）掌握使用 Spark 访问本地文件和 HDFS 文件的方法。二、实验平台操作系统：Ubuntu16.04；Spark 版本：2.1.0；Hadoop 版本：2.7.1。三、实验内容和要求1．安装 Hadoop 和 Spark进入 Linux 系统，参照本教程官网“实
转载
2023-08-01 21:52:34
74阅读
#!/bin/bash## Install Hadoop 2 using pdsh/pdcp where possible.# # Command can be interactive or file-based. This script sets up# a Hadoop 2 cluster with basic configuration. Modify data, l
翻译
精选
2016-03-22 23:36:55
394阅读
#!/bin/bash## Install Hadoop 2 using pdsh/pdcp where possible.# # Command can be interactive or file-based. This script sets up# a Hadoop 2 cluster with basic configuration. Modify data, l
原创
2016-03-22 23:33:51
340阅读
#!/bin/bash## Install Hadoop 2 using pdsh/pdcp where possible.# # Command can be interactive or file-based. This script sets up# a Hadoop 2 cluster with basic configuration. Modify data, l
翻译
精选
2016-03-22 23:37:44
444阅读
1、关闭防火墙 systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动 查看防火墙状态firewall-cmd --state systemctl status f ...
转载
2021-09-17 20:23:00
430阅读
2评论
Hadoop 3.1.3 分布式集群搭建，超详细，保姆级教程1.环境准备2 jdk1.8安装2.1 卸载虚拟机自带的JDK2.2 安装JDK1.83.在 hadoop102 安装Hadoop集群3.1集群安装准备3.2 安装hadoop3.3 hadoop运行模式3.4 完全分布式运行模式（开发重点）3.4.1 编写集群分发脚本 xsync3.4.2 ssh免密配置3.4.3 集群配置3.4.4
转载
2023-10-16 13:03:19
128阅读
Hadoop集群安装部署与配置-201411191、集群环境说明主机列表主机名iprole系统版本node110.0.0.101masterrhel6.5node210.0.0.102slaverhel6.5node310.0.0.103slaverhel6.5JDK version: java 1.8 (download)hadoop version: hadoop-2.5.1 (downloa
转载
2024-02-13 20:40:11
44阅读
文章目录基于Hadoop的数据仓库Hive安装1、安装Hive1.1 下载Hive源程序1.2 解压并重命名1.3 修改文件权限1.4 配置环境变量1.5 配置hive-site.xml2、安装并配置MySQL2.1 下载mysql jdbc包2.2 解压并拷贝2.3 启动并登陆mysql shell2.4 新建hive数据库2.5 配置mysql允许hive接入2.6 启动hadoop2.7
转载
2023-09-14 13:39:42
100阅读
hadoop完全分布式安装一、完全分布式运行模式（开发重点）分析： 1）准备3台客户机（hadoop101,hadoop102.hadoop103,关闭防火墙、静态ip、主机名称） 2）安装JDK1.8 3）配置环境变量 4）安装Hadoop2.7.2 5）配置环境变量 6）配置集群 7）配置ssh 8）群起并测试集群2，安装JDK1.82.1 配置hosts[yb@hadoop101 opt]$
转载
2023-07-12 13:12:55
81阅读
Windows Subsystem for Linux（简称WSL）是一个在Windows 10上能够运行原生Linux二进制可执行文件（ELF格式）的兼容层。它是由微软与Canonical公司合作开发，其目标是使纯正的Ubuntu、Debian等映像能下载和解压到用户的本地计算机，并且映像内的工具和实用工具能在此子系统上原生运行。如果使用Windows 10 2004以上，可以通过WSL 2来窗
转载
2024-05-16 13:50:34
255阅读
hadoop安装部署有以下三种模式： 本地模式 伪分布模式 全分布模式安装之前操作：
1.修改主机名，设置好IP
2.设置hadoop的环境变量：
命令：vi ~/.bash_profile
```
### add for hadoop
HADOOP_HOME=/root/ubuntu/training/hadoop-2.7.3
export HADOOP_HOME
PATH=$HADOOP
转载
2024-07-26 13:01:26
128阅读
