hadoop的官网hadoop官网下载并安装hadoop（本人使用的是2.10.1）下载：hadoop2.10.1
安装：tar -zxvf 解压文件
在linux 环境下也可以 直接用 wget http地址 的形式下载配置hadoop及启动集群最好改动一下hadoop的java配置地址：准备启动 Hadoop 群集，解包下载的 Hadoop 分发。在分发中，编辑文件etc/hadoop/had
转载
2023-07-12 14:49:02
48阅读
1.首先安装c的编译环境 yum -y install cpp yum -y install binutils yum -y install glibc yum -y install glibc-kernheaders yum -y install glibc-common yum -y install glibc-devel yum -y install gcc yum -...
原创
2021-07-29 10:45:11
243阅读
Hadoop3.2.1 分布式集群安装1.准备环境：3 台 linux 虚拟机(CentOs7.x 64 位)ip 为： 192.168.2.100 192.168.2.101 192.168.2.102对应的 hostname 为： hadoop100 hadoop101 hadoop1022.虚拟机基本环境配置：这三台机器的基本配置参考 Hadoop 单机伪分布安装章节中的虚拟机基本环境配置部
转载
2023-10-07 16:22:02
109阅读
目录1. Nosql概述2. 什么式NoSQL3. NoSQL的四大分类 1. Nosql概述为什么要用Nosql大数据时代，一般的数据库无法进行处理了！2006年 HadoopHadoop 是一个由 Apache 基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点Hadoop简介Hadoo
转载
2023-08-15 22:28:57
88阅读
一 搭建linux环境
我使用的是ubuntu虚拟机，直接百度下载ubuntu，然后下载wmware，安装虚拟机。安装步骤：1.打开wmware，点击创建新的虚拟机，如下图：
2.在弹出的选项卡中，点击选择“自定义”。如下图
3.点击下一步，在硬件兼容性的选择中，选择你的wmware版本，如下图，我的是11的4.点击下一步，这里
转载
2023-12-27 14:59:10
46阅读
1）用XShell文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面 2）进入到Hadoop安装包路径下 [atguigu@hadoop102 ~]$ cd /opt/software/ 3）解压安装文件到/opt/module下面 [atguigu ...
转载
2021-09-14 17:20:00
699阅读
2评论
Hadoop系列——Hadoop集群安装day2-1Hadoop系列——Hadoop集群安装day2-1集群角色规划准备工作1.克隆centos准备三台机器2.更改三台主机名3.更改主机映射3.1获取ip地址3.2添加映射4.关闭防火墙5.同步机器时间6.安装Java7.免密登录8.上传并解压压缩包9.配置文件9.1配置JDK路径9.2设置用户以执行对应角色的shell命令完整配置10.编辑ha
转载
2023-07-21 13:50:48
179阅读
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业，估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验，与大家讨论一下Hadoop、Spark、HBase及Redis等几个主流大数据技术的使用场景（首先声明一点，本文中所指的Hadoop，是很“狭义”的Hadoop，即在
转载
2023-07-09 22:33:22
13阅读
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业，估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验，与大家讨论一下Hadoop、Spark、HBase及Redis等几个主流大数据技术的使用场景（首先声明一点，本文中所指的Hadoop，是很“狭义”的Hadoop，即在
转载
2023-11-10 15:14:01
65阅读
以下安装目录均是在/usr/local/src目录下进行配置Java环境使用jdk-6u45-linux-x64.bin进行安装 ./jdk-6u45-linux-x64.bin，安装后生成jdk1.6.0_45目录增加Java环境变量 vim ~/.bashrcexport JAVA_HOME=/usr/local/src/jdk1.6.0_45
export CLASSPATH=.:$CLA
转载
2023-12-04 17:25:54
55阅读
到Apache官网下载我们需要的Hadoop版本，Apache产品官网是：http://archive.apache.org/dist/
转载
2023-07-26 22:50:23
1093阅读
hadoop的安装和配置基础环境 在Linux上安装Hadoop之前，需要先安装两个程序： 安装说明JDK 1.6或更高版本（本文所提到的安装的是jdk1.7）;SSH(安全外壳协议)，推荐安装OpenSSH。下面简述一下安装这两个程序的原因：Hadoop是用Java开发的，Hadoop的编译及MapReduce的运行都需要使用JDK。Hadoop需要通过SSH来启动salve列表中各台主机的守护
转载
2023-06-21 10:22:32
136阅读
提示：安装前请准备好三台装有jdk的虚拟机 我这里名为hd01、hd02、hd03hd01最好有hadoop和zookeeper的压缩包 文章目录前言
一、准备环境
二、安装Hadoop总结 前言：
前面我写了一篇单机版的Hadoop安装，这里终于要装集群版，装集群版的步骤比较繁琐，需要同学们多加练习，因为我们不可能只装一次，经常出了问题就要重装，所以必须要练熟练。一、准备环境先准备好三台虚拟机
转载
2023-10-18 16:49:05
70阅读
1. 下载Hadoop1.1 官网下载Hadoophttp://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz打开上述链接，进入到下图，可以随意下载一个完整的hadoop-2.9.0版本，如下图所示： 2. 安装单机版Hadoop详情参考：3. 安装集群版Hadoop把hadoop-
转载
2023-11-29 20:02:29
30阅读
Hadoop安装步骤一、准备工作二、具体步骤（一）解压（二）更改权限（三）Hadoop配置hadoop-env.shcore-site.xmlhdfs-site.xml（四）yarn配置1.配置mapred-site.xml2.配置yarn-site.xml3.启动yarn（五）环境变量配置（六）启动\关闭 服务（七）服务启动时输入密码优化（八）HDFS测试 前言：下文中的IP地址、文件路
转载
2023-08-03 21:02:09
134阅读
环境是VirtualBox虚拟机和Ubuntu操作系统，虚拟机和操作系统的安装见javascript:void(0)本文的参考文章：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation一、安装JDKHadoop是以java开发，因
转载
2023-06-20 09:57:27
127阅读
安装Hadoop集群安装HadoopHadoop软件安装配置免密登录配置环境变量配置Hadoop集群hadoop-env.sh配置core-site.xml配置hdfs-site.xml配置mapred-site.xml配置yarn-site.xml配置workers配置启动Hadoop集群 Spark3.3.1的安装软件包是基于Hadoop3.3+的，为了保持兼容性，这里选择使用Hadoop
转载
2023-08-07 17:44:01
36阅读
安装hadoop的时候每次重新安装都有些配置会记不太清楚，要去查询很麻烦这次做了个笔记，在这里和大家分享下，如果内容有错误，请指正。因为是从word中复制出来的截的图片都没了，可以从下面链接中下载到word原版！之前没有写博客的习惯，以后会陆续分享一些之前的笔记!http://pan.baidu.com/s/1gdKdEcb吃水不忘挖井人，hadoop集群配置相关内容很多都参考了吴超的博客，这里把
转载
2024-06-12 00:19:29
61阅读
在开始具体操作之前，需要首先选择一个合适的操作系统。尽管Hadoop本身可以运行在Linux、Windows以及其他一些类UNIX系统上，但是Hadoop官方真正支持的作业平台只有Linux。这里选择Linux作为系统平台，来演示在计算机上如何安装Hadoop、运行程序并得到最终结果。 文章目录1.Linux系统的安装2.创建Hadoop用户3.安装SSH、配置SSH无密码登陆4.安装Java环境
转载
2023-07-21 22:24:59
74阅读
Hue3.9因网上没有一篇教程可以完全参照安装成功，我将我安装过程中遇到的问题集结起来，以及其他教程的精华部分整理好，内容如下：Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析
转载
2024-07-22 17:28:38
75阅读
