Hadoop3.2.1 分布式集群安装1.准备环境：3 台 linux 虚拟机(CentOs7.x 64 位)ip 为： 192.168.2.100 192.168.2.101 192.168.2.102对应的 hostname 为： hadoop100 hadoop101 hadoop1022.虚拟机基本环境配置：这三台机器的基本配置参考 Hadoop 单机伪分布安装章节中的虚拟机基本环境配置部
转载
2023-10-07 16:22:02
109阅读
一、虚拟机环境准备系统主机地址hadoop版本jdk版本centos9hadoop0110.211.55.43.2.21.8.0_322centos9hadoop0210.211.55.73.2.21.8.0_322centos9hadoop0310.211.55.63.2.21.8.0_322 二、分别在三台虚拟机中进行hosts 配置 ，配置内容如下10.211.55.4
转载
2023-07-10 15:41:18
39阅读
Hadoop3集群部署部署环境安装包安装jdk（四台虚拟机都要）Hadoop3.2.2安装（master节点） 部署环境master 192.168.128.130 slave1 192.168.128.131 slave2 192.168.128.132 slave3 192.168.128.133安装包hadoop-3.2.2.tar.gz链接: https://pan.baidu.com/
转载
2023-08-07 20:05:36
61阅读
一、 搭建hadoop集群可以先进行jdk和hadoop的安装，经过克隆之后，克隆的虚拟机里面也会存在jdk和hadoop（我用的是完整克隆，链接克隆应该也可以），就不需要多次安装了。1、安装三台虚拟机并实现互通（1）第一台虚拟机正常安装，后两台直接克隆（右键->管理->克隆）。 可能会出现虚拟机的IP地址相同（没有出现直接跳过这一步）。若出现这种情况： 先关闭虚拟机，然后右键虚拟机设
转载
2023-07-12 13:18:35
202阅读
文章目录1.准备2. 下载hadoop 包,并上传到linux (上传到第一个节点)3. 进入上传目录并解压(在第一个节点上执行)4.配置环境变量 (在第一个节点上执行)5. 修改core-site.xml 文件(在第一个节点上执行)6. 修改hdfs-site.xml 文件添加如下内容(在第一个节点上执行)7. 修改hadoop-env.sh 文件(在第一个节点上执行)8. 修改mapred-
转载
2023-10-02 20:53:23
98阅读
一.集群环境搭建首先准备4台服务器(虚拟机)设置静态ip与地址映射: centos7 修改为静态ip并设置地址映射地址映射为如下然后设置集群SSH免密登录与分发脚本: centos7配置集群SSH免密登录(包含群发文件脚本)如果有防火墙记得关闭防火墙systemctl stop firewalld.service
systemctl disable firewalld.serv
转载
2023-10-09 22:11:35
95阅读
Hadoop3.2 集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。大猪 为了把文章压缩极简方便小伙伴阅读，将使用root帐号进行所有操作。准备两台主机10.211.55.11、10.211.55.12对应的hostname为m1.example.com、m2.example.com具
原创
2021-03-22 10:02:04
129阅读
Hadoop3.2 集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。大猪 为了把文章压缩极简方便小伙伴阅读，将使用root帐号进行所有操作。准备两台主机10.211.55.11、10.211.55.12对应的hostname为m1.example.com、m2.example.com具
转载
2021-06-03 13:15:28
67阅读
Hadoop是大数据处理主流框架，如果要学习大数据处理与存储，hadoop是必须掌握的一种框架技术。动手安装是最基础的实践，下面介绍一下单机、伪分布式和完全分布式安装与配置、测试过程，供有需要的参考。目录（1）软件准备（2）Centos安装及网络配置?（3）JDK安装配置（4）Hadoop单机安装及配置（5）Hadoop伪分布配置（6）启动HADOOP及伪分布式测试（7）Hadoop完全分布式集群
转载
2023-12-17 12:09:51
34阅读
目录：一、java调用HDFS的常见操作1.1、演示环境搭建1.2、操作HDFS1.3、java文件操作常用方法二、深入了解HDFS写文件的流程和HDFS原理2.1、Hadoop3.2.1 源码下载及介绍2.2、文件系统：FileSystem2.3、HDFS体系结构：namenode、datanode、数据块2.4、如何访问阿里云OSS等文件系统2.5、文件租约机制2.6、RPC机制2.7、HAS
原创
2021-01-27 17:44:32
322阅读
启动脚本授权 chmod 775 start_apigate.sh 文件夹授权 含下级chown -R 775 app/ 配置文件授权chmod 664 application.properties 启动脚本./start_apigate.sh weblogic启动 先启动主管服务 启动被管服务./ ...
转载
2021-09-19 12:27:00
337阅读
2评论
格式化namenode：脚本启动：这里就启动了hdfs和yarn。数据是存放在hdfs中的，yarn是mapreduce运行时需要的平台，mapreduce是编程框架。
原创
2021-07-02 13:44:01
237阅读
格式化namenode：脚本启动：这里就启动了hdfs和yarn。数据是存放在hdfs中的，yarn是mapreduce运行时需要的平台，mapreduce是编程框架。
原创
2022-01-21 09:45:40
47阅读
start-all.sh
关闭HADOOP
stop-all.sh
查看文件列表
查看hdfs中/user/admin/aaron目录下的文件。
hadoop fs -ls /user/admin/aaron
列出hdfs中/user/admin/aaron目录下的所有文件(包括子目录下的文件)。
hadoop fs -lsr /user/admin/aaron
创建文件目录
hadoop fs
转载
2024-08-02 11:00:07
49阅读
start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、
TaskTrack
stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
start
转载
2023-07-03 15:31:37
262阅读
错误一： 2010-11-09 16:59:07,307 INFO org.apache.hadoop.ipc.Server: Error register getProtocolVersion
java.lang.IllegalArgumentException: Duplicate metricsName:getProtocolVersion
at org.apache.h
转载
2024-05-09 14:00:17
26阅读
3.2 Hive 基本操作（Hadoop3.0）【实验目的】1.了解Hive的基本操作2.了解Hive的外部表与普通表的区别【实验原理】Hive定义了一套
原创
2024-06-09 10:18:10
55阅读
1,GenericServlet public void init(ServletConfig config) throws ServletException { this.config = config; this.init(); }2,HttpServlervletException {
原创
2023-04-25 17:40:30
272阅读
这里我们已经安装好Hadoop，并且已经配置好了环境变量。1 我们运行下 jps命令，可看到，系统中除了一个jps主线程，无其他线程 2 我们进入解压后的Hadoop启动脚本目录，不同的hadoop版本对应的启动目录不一样，有的在bin下有的在sbin下。 3 在进行Hadoop启动前，我们需要对HDFS进行下格式化，执行命令：bin/hdfs namenode -format 4 执行启动脚本
转载
2013-08-31 22:52:00
314阅读
四、Hadoop集群启动
在配置完成Hadoop集群后，我们可以手动启动集群及相关服务
转载
2023-05-29 16:31:03
269阅读
