安装单机模式的hadoop无须配置，在这种方式下，hadoop被认为是一个单独的java进程，这种方式经常用来调试。所以我们讲下伪分布式安装hadoop.我们继续上一章继续讲解，安装完先试试SSH装上没有,敲命令,注意：这个安装是hadoop伪分布式的安装，配置集群我在后面讲！！！！！！！！ls -a如果没有ssh,输入命令ssh 查看ssh loc
转载
2023-07-20 19:25:48
120阅读
在一台机器上实现伪分布式hadoop环境的搭建。ADOOP集群规划主机名（hostname）安装软件运行进程pdmnameNode、resourceManager、datanode、nodemanager、secondary namenodehadoop-2.7.1HADOOP集群安装步骤下面步骤以root用户登陆系统，来进行设置。1.设置静态ipVi /etc/sysconfig/network
转载
2023-07-12 22:39:26
0阅读
上一篇文章已经为大家介绍了如何在Linux系统上配置java环境，这为hadoop的集群搭建提供了基础条件，因为Hadoop是由Java编写的如果还没有在虚拟机配置java系统的小伙伴可以先看一下我的第一篇文章:接下来是hadoop伪分布搭建的要准备东西： jdk1.8.0_221 hadoop-2.7.7 我都打包提供给大家了，下载地址：https://share.weiyun.com/dk7W
转载
2023-09-14 13:10:30
119阅读
hadoop搭建伪分布式集群 下（centos7+hadoop-3.1.0/2.7.7）第一部分请参考hadoop搭建伪分布式集群 上第二部分 Hadoop正式安装1.安装Hadoop 2.修改hadoop的5个配置文件 3.解决互信问题1.安装hadoop 直接去官网hadoop下载 建议下载最新的hadoop3.*版本，具体更新特性我也不太清楚，hadoop2.*也可以，1.*就不要考虑了。
一、安装虚拟机管理工具vmwar_workstation安装路径：E:\vmwar_work_station（因为这个盘的剩余空间大一些）；特别提示：当vmwar_workstation安装完成后，在宿主机的网络和共享中心的更改网路适配器中，会出现下图中的两个虚拟网络适配器；其中这两个适配器一定不能禁用，如果你禁用了，使用SecureCRT，putty等客户端连接你的虚拟机时，就无法连接，会报co
转载
2024-05-30 21:08:19
35阅读
Hadoop 分为两大块：HDFS 和 MapReduceHDFS是一个分布式存储文件系统，Mapreduce是一个分布式计算的框架，两者结合起来，就可以很容易做一些分布式处理任务了。 一 安装JDK1.7Linux会自带JDK，如果不使用自带版本的话需要卸载。1. 卸载系统自带的jdk版本查看自带的jdk#rpm -qa | gre
转载
2023-07-12 22:41:56
81阅读
注意： 以下操作都在Master(DW1)节点进行下载二进制包spark-2.1.1-bin-hadoop2.7.tgz解压并移动到相应目录，命令如下：tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz修改相应的配置文件修改/etc/profie，增加如下内容：export SPARK_HOME=/home/heitao/Soft/spark
export PATH=$
转载
2023-11-10 11:35:18
92阅读
伪分布式集群目录伪分布式集群拍摄快照为 master 增加计算资源将 hadoop 改为伪分布式1、修改 slaves 文件2、删除hadoop tmp目录3、重新初始化hadoop4、启动hadoop5、验证将 Zookeeper 改为伪分布式1、修改 zoo.cfg 文件2、删除version文件3、启动zk4、验证将 hive 改为伪分布式1、启动hvie的元数据服务将 HBase 改为伪分
转载
2023-11-03 13:08:20
42阅读
一、 搭建前准备工作Ps：整个过程请在Root用户下进行，避免一些授权问题。1. 设置免密码登录：Centos自带了SSH，所以不用安装ssh，直接进入主题：（1） 敲命令：ssh localhost此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码123456，这样就登陆到本机了。（2）退出：exit;（3）进入授权目录：cd ~/.ssh（4）生成公钥和
原创
2021-05-24 21:50:42
641阅读
## Hive伪分布式安装启动
Hive是一个建立在Hadoop之上的数据仓库工具，用于进行数据的提取、转换和加载（ETL）等操作。Hive的伪分布式安装方式可以让开发者在本地环境中模拟分布式系统的运行，方便进行开发和调试。本文将介绍如何进行Hive的伪分布式安装和启动过程。
### 安装Hive
首先，我们需要确保已经正确安装了Hadoop，并且Hadoop集群已经启动。接下来，我们可以按
原创
2024-06-09 05:44:43
77阅读
6.Hive安装6.1 下载Hive安装包访问网址：https://archive.apache.org/dist/hive/ 点击hive-3.1.2/ 进入#拷贝下载链接后，登录Hadoop001服务器，进入/opt/module/software 目录。
[root@hadoop001 ~]# cd /opt/module/software
[root@hadoop001 ~]# wget
转载
2024-07-04 18:43:55
62阅读
伪分布式模式也是在一台单机上运行，集群中的结点由一个NameNode和若干个DataNode组，另有一个SecondaryNameNode作为NameNode的备份。一个机器上，既当namenode，又当datanode,或者说既是jobtracker，又是tasktracker。没有所谓的在多台机器上进行真正的分布式计算，故称为"伪分布式"。开启多个进程模拟完全分布式，但是并没有真正提高程序执行
转载
2023-07-24 09:29:30
295阅读
使用工具①centos6.5②jdk1.8③Hadoop2.7.1【*】虚拟机使用Linux作为操作系统，这也是在生产情况下运行Hadoop的唯一指定操作系统。由于HDFS依赖于Hadoop，Hadoop依赖于Java。所以需要进行Hadoop的安装和jdk的安装。Hadoop的安装非常简单，大家可以去官网上下载到最新的几个版本。在安装Hadoop程序之前，需要安装两个程序，JDK和SSH（安全外
转载
2023-08-18 13:27:02
85阅读
一.hadoop伪分布安装步骤如下安装环境：centOS6.5 1.1 设置ip地址 执行命令 service network restart 验证: ifconfig 1.2 设置主机名 执行命令&n
转载
2023-11-03 19:22:24
57阅读
一、HBase介绍 HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable：一个结构化数据的分布式存储系统》。HBase以表的形式存储数据，表有行和列组成，列划分为若干个列族/列簇(column family)。欲了解HBase的官方资讯，请访问HBase官方网站。 HBase的运行有三种模式：单机模式、伪分布式模式、分布式模式。单机模式：在一台计算机上安装和使
转载
2023-08-05 18:21:02
132阅读
随着大数据时代的到来，单个计算机已经满足不了海量数据的计算要求，所以hadoop也随之兴起，且使用的越来越广泛。一、搭建hadoop前提Hadoop的使用必须有jdk的环境，在Liunx下搭建Hadoop是一定要注意Hadoop的版本和jdk版本是否符合。这提供一个官方文档链接：https://wiki.apache.org/hadoop/HadoopJavaVersionshadoop3.1 链
转载
2024-07-19 09:40:02
30阅读
在这篇博文中，我将介绍如何安装一个伪分布式的 Hive 环境。伪分布式意味着我们会在单台机器上模拟 Hadoop 的分布式特性，这样可以方便我们进行开发和测试。下面，我将详细描述这个过程。
首先，我们来看一下伪分布式 Hive 环境的安装背景。
### 问题背景
在大数据技术栈中，Hive 作为一个数据仓库工具，允许用户通过类 SQL 方式查询和管理大数据。由于 Hive 通常与 Hadoo
一：环境准备
1：准备虚拟机一台，我安装的是redhat6.4的32位操作系统。
2 :修改hostname。使用命令hostname localhost（如需重启后生效，可以 修改配置文件/etc/sysconfig/network中的HOSTNAME=localhost即可）。另修改/etc/hosts ,用#注释掉默认的文本，添加127.0.0.1 localhost即
一：伪分布式伪分布式顾名思义就是把软件装在一台服务器上，但操作方式与完全分布式集群没有任何区别，一般用于做测试时使用安装与配置：我使用的环境是CentOS-7、Hadoop-2.7.3、JDK-1.81、解压软件包tar -zxf hadoop.tar.gz -C /opt
tar -zxf jdk.tar.gz -C /opt2、配置环境变量vi /etc/profile
# 在末尾追加后保存
转载
2023-07-12 23:17:17
482阅读
前两天在Mac OS 10.8.1上搭建了hadoop伪分布式系统，这两天自娱自乐，用java写了个word count程序，在上面运行成功。因为java不是我主要编程语言，而且控制台下编译环境也不熟，又是在业余时间自己折腾，因此折腾了几天，呵呵，惭愧。下面记录下整个过程，包括这两天踩到的各种坑儿。1. word count 程序撰写这个容易，打开vim，直接按照教科书上的内容敲代码进去。不过用v
转载
2024-07-01 17:36:47
51阅读
