使用工具①centos6.5②jdk1.8③Hadoop2.7.1【*】虚拟机使用Linux作为操作系统，这也是在生产情况下运行Hadoop的唯一指定操作系统。由于HDFS依赖于Hadoop，Hadoop依赖于Java。所以需要进行Hadoop的安装和jdk的安装。Hadoop的安装非常简单，大家可以去官网上下载到最新的几个版本。在安装Hadoop程序之前，需要安装两个程序，JDK和SSH（安全外
转载
2023-08-18 13:27:02
85阅读
Hadoop 分为两大块：HDFS 和 MapReduceHDFS是一个分布式存储文件系统，Mapreduce是一个分布式计算的框架，两者结合起来，就可以很容易做一些分布式处理任务了。 一 安装JDK1.7Linux会自带JDK，如果不使用自带版本的话需要卸载。1. 卸载系统自带的jdk版本查看自带的jdk#rpm -qa | gre
转载
2023-07-12 22:41:56
81阅读
注意： 以下操作都在Master(DW1)节点进行下载二进制包spark-2.1.1-bin-hadoop2.7.tgz解压并移动到相应目录，命令如下：tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz修改相应的配置文件修改/etc/profie，增加如下内容：export SPARK_HOME=/home/heitao/Soft/spark
export PATH=$
转载
2023-11-10 11:35:18
92阅读
## Hive伪分布式安装启动
Hive是一个建立在Hadoop之上的数据仓库工具，用于进行数据的提取、转换和加载（ETL）等操作。Hive的伪分布式安装方式可以让开发者在本地环境中模拟分布式系统的运行，方便进行开发和调试。本文将介绍如何进行Hive的伪分布式安装和启动过程。
### 安装Hive
首先，我们需要确保已经正确安装了Hadoop，并且Hadoop集群已经启动。接下来，我们可以按
原创
2024-06-09 05:44:43
77阅读
一.hadoop伪分布安装步骤如下安装环境：centOS6.5 1.1 设置ip地址 执行命令 service network restart 验证: ifconfig 1.2 设置主机名 执行命令&n
转载
2023-11-03 19:22:24
57阅读
安装单机模式的hadoop无须配置，在这种方式下，hadoop被认为是一个单独的java进程，这种方式经常用来调试。所以我们讲下伪分布式安装hadoop.我们继续上一章继续讲解，安装完先试试SSH装上没有,敲命令,注意：这个安装是hadoop伪分布式的安装，配置集群我在后面讲！！！！！！！！ls -a如果没有ssh,输入命令ssh 查看ssh loc
转载
2023-07-20 19:25:48
120阅读
在一台机器上实现伪分布式hadoop环境的搭建。ADOOP集群规划主机名（hostname）安装软件运行进程pdmnameNode、resourceManager、datanode、nodemanager、secondary namenodehadoop-2.7.1HADOOP集群安装步骤下面步骤以root用户登陆系统，来进行设置。1.设置静态ipVi /etc/sysconfig/network
转载
2023-07-12 22:39:26
0阅读
6.Hive安装6.1 下载Hive安装包访问网址：https://archive.apache.org/dist/hive/ 点击hive-3.1.2/ 进入#拷贝下载链接后，登录Hadoop001服务器，进入/opt/module/software 目录。
[root@hadoop001 ~]# cd /opt/module/software
[root@hadoop001 ~]# wget
转载
2024-07-04 18:43:55
62阅读
上一篇文章已经为大家介绍了如何在Linux系统上配置java环境，这为hadoop的集群搭建提供了基础条件，因为Hadoop是由Java编写的如果还没有在虚拟机配置java系统的小伙伴可以先看一下我的第一篇文章:接下来是hadoop伪分布搭建的要准备东西： jdk1.8.0_221 hadoop-2.7.7 我都打包提供给大家了，下载地址：https://share.weiyun.com/dk7W
转载
2023-09-14 13:10:30
119阅读
在这篇博文中，我将介绍如何安装一个伪分布式的 Hive 环境。伪分布式意味着我们会在单台机器上模拟 Hadoop 的分布式特性，这样可以方便我们进行开发和测试。下面，我将详细描述这个过程。
首先，我们来看一下伪分布式 Hive 环境的安装背景。
### 问题背景
在大数据技术栈中，Hive 作为一个数据仓库工具，允许用户通过类 SQL 方式查询和管理大数据。由于 Hive 通常与 Hadoo
一、HBase介绍 HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable：一个结构化数据的分布式存储系统》。HBase以表的形式存储数据，表有行和列组成，列划分为若干个列族/列簇(column family)。欲了解HBase的官方资讯，请访问HBase官方网站。 HBase的运行有三种模式：单机模式、伪分布式模式、分布式模式。单机模式：在一台计算机上安装和使
转载
2023-08-05 18:21:02
132阅读
胖虎的Hadoop笔记——Hadoop的伪分布式部署本博客用于Hadoop大数据企业课笔记记录。第三步一、VMware安装和创建虚拟机1.VMware安装安装包下载：https://pan.baidu.com/s/16T72wWtK3zMbAdyfavNGDA 提取码：on8c2.创建虚拟机（CentOS7）下载镜像文件：https://pan.baidu.com/s/16T72wWtK3zMbA
转载
2023-07-24 13:19:01
163阅读
hadoop搭建伪分布式集群 下（centos7+hadoop-3.1.0/2.7.7）第一部分请参考hadoop搭建伪分布式集群 上第二部分 Hadoop正式安装1.安装Hadoop 2.修改hadoop的5个配置文件 3.解决互信问题1.安装hadoop 直接去官网hadoop下载 建议下载最新的hadoop3.*版本，具体更新特性我也不太清楚，hadoop2.*也可以，1.*就不要考虑了。
分三步： 1. 加入环境变量 2.编辑hbase-env.sh文件 3.编辑hbase-site.xml 文件 前提条件是安装好hadoop，以下展开说明 1. 加入环境变量 export HBASE_HOME=/usr/local/cdh/hbase export PATH=$PATH:$PIG_
转载
2017-06-28 14:35:00
361阅读
2评论
一、安装虚拟机管理工具vmwar_workstation安装路径：E:\vmwar_work_station（因为这个盘的剩余空间大一些）；特别提示：当vmwar_workstation安装完成后，在宿主机的网络和共享中心的更改网路适配器中，会出现下图中的两个虚拟网络适配器；其中这两个适配器一定不能禁用，如果你禁用了，使用SecureCRT，putty等客户端连接你的虚拟机时，就无法连接，会报co
转载
2024-05-30 21:08:19
35阅读
完成Hbase的下载、安装Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式数据库。利用Hbase技术可在廉价PC Server上搭建起大规模结构化存储集群。Hbase是非关系型数据库，它不要求数据之间有严格的关系，同时它允许在同一列不同行中存储不同类型的数据。Hbase作为Hadoop框架下的数据库，是被设计成在一个服务器集群上运行的。OS：Ubuntu 16.04.6 LTSJDK：v1
转载
2023-08-18 23:17:30
120阅读
一、本文说明： 本次测试在一台虚拟机系统上进行伪分布式搭建。Hadoop伪分布式模式是在单机上模拟Hadoop分布式，单机上的分布式并不是真正的伪分布式，而是使用线程模拟分布式。Hadoop本身是无法区分伪分布式和分布式的，两种配置也很相似。唯一不同的地方是伪分布式是在单机器上配置，数据节点和名字节点均是一个机器。 环境说明
转载
2023-07-25 18:35:49
149阅读
目录1.安装JDK2.安装Hadoop3.文件配置4.启动集群5.查看集群 在开始Hadoop伪分布式环境搭建之前，需要完成这些准备工作。1.安装JDK 安装JDK之前,需要卸载系统中自带的JDK。[root@master ~]# java -version
openjdk version "1.8.0_131"
Open
转载
2023-09-20 12:02:24
98阅读
一、伪分布式的安装 1、伪分布式的概念 在一台主机上模拟多个数据存储节点，每个线程都是一个独立的程序，使用的都是独立的JVM. 存储的文件系统为分布式文件系统(HDFS).作用是用于对MapReduce程序的调试。 2、准备条件： CentOS6.8/
转载
2023-11-29 20:24:24
73阅读
伪分布式集群目录伪分布式集群拍摄快照为 master 增加计算资源将 hadoop 改为伪分布式1、修改 slaves 文件2、删除hadoop tmp目录3、重新初始化hadoop4、启动hadoop5、验证将 Zookeeper 改为伪分布式1、修改 zoo.cfg 文件2、删除version文件3、启动zk4、验证将 hive 改为伪分布式1、启动hvie的元数据服务将 HBase 改为伪分
转载
2023-11-03 13:08:20
42阅读
