hadoop的官网hadoop官网下载并安装hadoop（本人使用的是2.10.1）下载：hadoop2.10.1
安装：tar -zxvf 解压文件
在linux 环境下也可以 直接用 wget http地址 的形式下载配置hadoop及启动集群最好改动一下hadoop的java配置地址：准备启动 Hadoop 群集，解包下载的 Hadoop 分发。在分发中，编辑文件etc/hadoop/had
转载
2023-07-12 14:49:02
48阅读
一、hadoop2.0安装部署流程 1、自动安装部署：Ambari、Minos（小米）、Cloudera Manager（收费） 2、使用RPM包安装部署：Apache hadoop不支持、HDP与CDH提供
转载
2023-09-14 13:23:33
153阅读
Hive3.1.2安装指南1、安装Hive3.1.2首先需要下载Hive安装包文件， Hive官网下载地址#解压安装包
hadoop@hadoop-master:~$ sudo tar xf apache-hive-3.1.2-bin.tar.gz -C /usr/local/
hadoop@hadoop-master:~$ cd /usr/local/
hadoop@hadoop-master:
转载
2023-08-10 09:11:17
57阅读
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译 （建议第一次安装用32位的系统，我将编译好的64
转载
2024-04-20 19:40:59
52阅读
大数据 hadoop hadoop起源 HDFS常用组件 HDFS结构 Mapreduce Mapresuce结构 Yarn结构一、hadoop的安装 1、环境准备 （1）准备四台虚拟机 主机 角色 192.168.8.10（hadoop10） NameNode 192.168.8.11（hd01） DataNode 192.168.8.12（hd02） DataNode 192.168.8.13
转载
2023-07-21 13:53:08
154阅读
hadoop是java开发的，其运行的环境必须是java环境，在vmvare中安装CentOS7并配置网络和jdk环境中已配置好，这里需要四台机器作为集群配置四台的主机名和IP地址及安装的服务如下表： 每台都要设置本机到主机的映射vi /etc/hosts在问答末尾添加关闭防火墙systemctl stop firewalld.service
systemctl disable firewa
转载
2024-03-06 07:13:10
19阅读
一、系统配置
3台虚拟机
hadoop1: 4g内存 2核 80g硬盘 作为master节点
hadoop2 1g内存 1核 8g硬盘 作为slave节点
hadoop3: 1g内存 1核 8g硬盘 作为slave节点二、基础概念
hadoop主要包含了3个组件：存储组件hdfs、资源调度引擎yarn、计算引擎MapReduce.1、hdfs集群
NameNo
转载
2023-05-31 16:19:07
317阅读
Hadoop2.0 RM计算框架的搭建节点：
NN-1 NN-2 DN ZK ZKFC JNN RS NM
node08 * * *
node09 * * * * * *
node10 * * * * *
node11 * * * *
在hadoop 2.0 hdfs 完
转载
2023-05-23 12:02:11
64阅读
云耀云服务器L实例是新一代的轻量应用云服务器，专门为中小企业和开发者打造，提供开箱即用的便利性。云耀云服务器L实例提供丰富且经过严格挑选的应
原创
2023-09-24 21:35:30
274阅读
QEMU 2.10.1 编译安装原本在 Ubuntu 上可以直接通过apt install qemu-km可以直接安装 QEMU，但是这样安装的版本太低。想用官方的最新版本还得自己编译源码安装。本文记录了我在新安装的 Ubuntu 17.10 desktop 安装 QEMU 的过程。源码包安装下载源码包$ wget https://download.qemu.org/qemu-2.10.1.ta
转载
2021-08-10 15:09:00
1053阅读
2评论
Snipaste 是一款超好用的 截图 + 贴图工具，特别适合 Mac 用户日常使用。第一步：下载文件（这一步你可能已经完成了）安装包下载：https://pan.quark.cn/s/90ae657e63b4，下载了 Snipaste-2.10.1.dmg 这个文件，它一般会默认保存到你的「下载」文件夹里。第二步：找到并双击 .dmg 文件打开你的 「访达」（就是屏幕下边 Dock
1）用XShell文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面 2）进入到Hadoop安装包路径下 [atguigu@hadoop102 ~]$ cd /opt/software/ 3）解压安装文件到/opt/module下面 [atguigu ...
转载
2021-09-14 17:20:00
699阅读
2评论
OpenEuler24.03 LTS-SP1 + Rancher2.10.1+Jenkins+GitLab安装
Hadoop系列——Hadoop集群安装day2-1Hadoop系列——Hadoop集群安装day2-1集群角色规划准备工作1.克隆centos准备三台机器2.更改三台主机名3.更改主机映射3.1获取ip地址3.2添加映射4.关闭防火墙5.同步机器时间6.安装Java7.免密登录8.上传并解压压缩包9.配置文件9.1配置JDK路径9.2设置用户以执行对应角色的shell命令完整配置10.编辑ha
转载
2023-07-21 13:50:48
179阅读
以下安装目录均是在/usr/local/src目录下进行配置Java环境使用jdk-6u45-linux-x64.bin进行安装 ./jdk-6u45-linux-x64.bin，安装后生成jdk1.6.0_45目录增加Java环境变量 vim ~/.bashrcexport JAVA_HOME=/usr/local/src/jdk1.6.0_45
export CLASSPATH=.:$CLA
转载
2023-12-04 17:25:54
55阅读
到Apache官网下载我们需要的Hadoop版本，Apache产品官网是：http://archive.apache.org/dist/
转载
2023-07-26 22:50:23
1093阅读
安装Hadoop集群安装HadoopHadoop软件安装配置免密登录配置环境变量配置Hadoop集群hadoop-env.sh配置core-site.xml配置hdfs-site.xml配置mapred-site.xml配置yarn-site.xml配置workers配置启动Hadoop集群 Spark3.3.1的安装软件包是基于Hadoop3.3+的，为了保持兼容性，这里选择使用Hadoop
转载
2023-08-07 17:44:01
36阅读
安装hadoop的时候每次重新安装都有些配置会记不太清楚，要去查询很麻烦这次做了个笔记，在这里和大家分享下，如果内容有错误，请指正。因为是从word中复制出来的截的图片都没了，可以从下面链接中下载到word原版！之前没有写博客的习惯，以后会陆续分享一些之前的笔记!http://pan.baidu.com/s/1gdKdEcb吃水不忘挖井人，hadoop集群配置相关内容很多都参考了吴超的博客，这里把
转载
2024-06-12 00:19:29
61阅读
在开始具体操作之前，需要首先选择一个合适的操作系统。尽管Hadoop本身可以运行在Linux、Windows以及其他一些类UNIX系统上，但是Hadoop官方真正支持的作业平台只有Linux。这里选择Linux作为系统平台，来演示在计算机上如何安装Hadoop、运行程序并得到最终结果。 文章目录1.Linux系统的安装2.创建Hadoop用户3.安装SSH、配置SSH无密码登陆4.安装Java环境
转载
2023-07-21 22:24:59
74阅读
Hue3.9因网上没有一篇教程可以完全参照安装成功，我将我安装过程中遇到的问题集结起来，以及其他教程的精华部分整理好，内容如下：Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析
转载
2024-07-22 17:28:38
75阅读
