Hadoop3.2.1 分布式集群安装1.准备环境：3 台 linux 虚拟机(CentOs7.x 64 位)ip 为： 192.168.2.100 192.168.2.101 192.168.2.102对应的 hostname 为： hadoop100 hadoop101 hadoop1022.虚拟机基本环境配置：这三台机器的基本配置参考 Hadoop 单机伪分布安装章节中的虚拟机基本环境配置部
转载
2023-10-07 16:22:02
109阅读
一、虚拟机环境准备系统主机地址hadoop版本jdk版本centos9hadoop0110.211.55.43.2.21.8.0_322centos9hadoop0210.211.55.73.2.21.8.0_322centos9hadoop0310.211.55.63.2.21.8.0_322 二、分别在三台虚拟机中进行hosts 配置 ，配置内容如下10.211.55.4
转载
2023-07-10 15:41:18
39阅读
Hadoop3集群部署部署环境安装包安装jdk（四台虚拟机都要）Hadoop3.2.2安装（master节点） 部署环境master 192.168.128.130 slave1 192.168.128.131 slave2 192.168.128.132 slave3 192.168.128.133安装包hadoop-3.2.2.tar.gz链接: https://pan.baidu.com/
转载
2023-08-07 20:05:36
61阅读
一、 搭建hadoop集群可以先进行jdk和hadoop的安装，经过克隆之后，克隆的虚拟机里面也会存在jdk和hadoop（我用的是完整克隆，链接克隆应该也可以），就不需要多次安装了。1、安装三台虚拟机并实现互通（1）第一台虚拟机正常安装，后两台直接克隆（右键->管理->克隆）。 可能会出现虚拟机的IP地址相同（没有出现直接跳过这一步）。若出现这种情况： 先关闭虚拟机，然后右键虚拟机设
转载
2023-07-12 13:18:35
202阅读
目录：一、java调用HDFS的常见操作1.1、演示环境搭建1.2、操作HDFS1.3、java文件操作常用方法二、深入了解HDFS写文件的流程和HDFS原理2.1、Hadoop3.2.1 源码下载及介绍2.2、文件系统：FileSystem2.3、HDFS体系结构：namenode、datanode、数据块2.4、如何访问阿里云OSS等文件系统2.5、文件租约机制2.6、RPC机制2.7、HAS
原创
2021-01-27 17:44:32
322阅读
文章目录1.准备2. 下载hadoop 包,并上传到linux (上传到第一个节点)3. 进入上传目录并解压(在第一个节点上执行)4.配置环境变量 (在第一个节点上执行)5. 修改core-site.xml 文件(在第一个节点上执行)6. 修改hdfs-site.xml 文件添加如下内容(在第一个节点上执行)7. 修改hadoop-env.sh 文件(在第一个节点上执行)8. 修改mapred-
转载
2023-10-02 20:53:23
98阅读
一.集群环境搭建首先准备4台服务器(虚拟机)设置静态ip与地址映射: centos7 修改为静态ip并设置地址映射地址映射为如下然后设置集群SSH免密登录与分发脚本: centos7配置集群SSH免密登录(包含群发文件脚本)如果有防火墙记得关闭防火墙systemctl stop firewalld.service
systemctl disable firewalld.serv
转载
2023-10-09 22:11:35
95阅读
Hadoop是大数据处理主流框架，如果要学习大数据处理与存储，hadoop是必须掌握的一种框架技术。动手安装是最基础的实践，下面介绍一下单机、伪分布式和完全分布式安装与配置、测试过程，供有需要的参考。目录（1）软件准备（2）Centos安装及网络配置?（3）JDK安装配置（4）Hadoop单机安装及配置（5）Hadoop伪分布配置（6）启动HADOOP及伪分布式测试（7）Hadoop完全分布式集群
转载
2023-12-17 12:09:51
34阅读
Hadoop3.2 集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。大猪 为了把文章压缩极简方便小伙伴阅读，将使用root帐号进行所有操作。准备两台主机10.211.55.11、10.211.55.12对应的hostname为m1.example.com、m2.example.com具
原创
2021-03-22 10:02:04
129阅读
Hadoop3.2 集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。大猪 为了把文章压缩极简方便小伙伴阅读，将使用root帐号进行所有操作。准备两台主机10.211.55.11、10.211.55.12对应的hostname为m1.example.com、m2.example.com具
转载
2021-06-03 13:15:28
67阅读
3.2 Hive 基本操作（Hadoop3.0）【实验目的】1.了解Hive的基本操作2.了解Hive的外部表与普通表的区别【实验原理】Hive定义了一套
原创
2024-06-09 10:18:10
55阅读
hadoop 运行模式一、ssh二、Hadoop伪分布模式<1>设置三种模式的切换（ 配置文件 + 守护进程的启动 = hadoop集群 ）<2>web的端口<3>Hadoop的启动脚本 ( hdfs + yarn )三、完全分布式搭建<1> 概念<2> 部署 一、sshSSH：安全的远程连接
xshell/putty工具连接l
转载
2023-09-06 10:53:38
54阅读
HDFS操作之前我们对hdfs的操作主要是通过在linux命令行里进行的，而在实际的应用中，为了实现本地与HDFS 的文件传输，我们主要借助于eclipse的开发环境开发的javaAPI来实现对远程HDFS的文件创建，上传，下载和删除等操作Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中，Hadoop类库中最终面向用户提供的接口类是FileSystem，该
转载
2023-09-10 16:19:33
349阅读
大数据hadoop学习【4】-----利用JAVA API对Hadoop文件系统HDFS进行相应操作目录一、运行Hadoop,并建立eclipse相应java工程项目1、运行Hadoop2、建立eclipse项目二、编写java程序判定文件是否存在1、在创建的java项目中新建java类2、编写判定文件是否存在的java程序3、运行结果三、编写java程序将Linux本地文件上传到HDFS文件系
转载
2023-08-22 09:39:34
64阅读
通过hadoop 提供的java api对hdfs进行操作 环境：centos7 + jdk1.7 + hadoop2.4.1(64位)+ecplise第一部分删除操作第一步：启动Hadoop服务1.1 查看服务状态。在命令终端，执行命令“jps”（查看hadoop服务是否已经启动，如未启动，启动服务）。如图1所示 （process information unavaliable不用管，造成原因可
转载
2023-09-06 09:14:53
69阅读
最近在做一个项目中需要将系统中操作的SQL自动化维护到远程服务器上，git是一个非常强大的代码维护工具，遂对其自动化push做了一些研究，供大家学习参考。 java git api - jgit的资料还是比较多的，而且git的操作比svn更容易理解，所以毅然决然的在git的道路上越走越远。 &
转载
2023-07-06 18:06:51
79阅读
文章目录Java客户端操作HDFS使用Java客户端创建目录上传和下载删除和重命名判断路径是否存在判断是文件还是目录获取块的位置信息 Tip:本节内容均是在我之前搭建的完全分布式上进行！！ Java客户端操作HDFS服务端： 启动NN,DN
客户端： 使用shell客户端 hadoop fs
使用java客户端
使用python客户端我在windows也要配
转载
2023-07-05 13:49:56
88阅读
大数据Hadoop学习记录（4）----基于JAVA的HDFS文件操作一、准备文件数据二、编写程序1、向HDFS上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件2、从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名3、将HDFS中指定文件的内容输出到终端中4、显示HDFS中指定的文件的读写权限、大小、创建时
转载
2023-09-20 07:03:27
118阅读
• 1.首先来配置SSH免密码登陆• 2.测试登录成功，创建完成• 3.创建安装目录• 4.安装jdktar -xzvf /data/hadoop/jdk-8u161-linux-x64.tar.gz -C /apps其中，tar -xzvf 对文件进行解压缩，-C 指定解压后，将文件放到/apps目录下。 切换到/apps目录下，我们可以看到目录下内容如下：cd /apps/
ls -l下面将j
转载
2023-08-18 19:19:10
34阅读
Hadoop系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，Python Java Scala SQL 代码，CV NLP 推荐系统等，Spark Flink Kafka Hbase Hive Flume等等~写的都是纯干货，各种顶会的论文解读，一起进步。 今天继续和大家分享一下HDFS基础入门2之JavaAPI操作 #博学谷IT学习技术
转载
2023-09-21 19:43:29
97阅读
