最近公司让我搭建64位的集群，我重新编译了一下
hadoop的源码，并部署环境。在这个过程中遇到了一些问题：问题1：hdfs-site.xml文件的配置问题，在配置 <property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/grid/
转载
2023-07-12 11:34:04
75阅读
用eclipse连接集群查看文件信息提示9000port拒绝连接的错误
Cannot connect to the Map/Reduce location: hadoop1.0.3
Call to ubuntu/192.168.1.111:9000 failed on connection exception: java.net.ConnectException: 拒绝连接1.
转载
2023-09-14 08:20:04
219阅读
第一次写Blog。数据库（NoSql），现在想使用Hadoop对数据库的数据进行处理，涉及到数据库的连接，及相关的CRUD操作。所以，要实现一个Hadoop的连接器。类似于Mongodb，连接到数据库，需要先得到数据库对象db，然后得到数据库的collectionSpace，再得到collection，然后，就可以进行数据的读取与写入操作。元数据都是用BSON/JSON结构。下面进入Hadoop连
转载
2024-07-30 15:43:21
54阅读
在服务器上搭建了hadoop的伪分布式环境。大神的博客上是使用eclipse来调试，但是我入门以来一直用的是idea，eclipse已经不习惯，于是便摸索着配置了idea远程调试hadoop的环境。步骤一：下载与服务器上的hadoop同版本的hadoop安装包，我下载的是hadoop-2.7.7.tar.gz，下载后解压到某个目录，比如D:\Software\hadoop-2.7.7，
转载
2023-07-12 11:34:19
93阅读
大数据Hadoop 二一、Xshell安装（以Xshell5）为例1、安装前准备（前一篇文章有下载连接）2、打开xshell5_5.0332.exe安装Xshell二、FileZilla安装1.打开FileZilla_3.47.2.1_win64-setup.exe安装FileZilla三、通过Xshell连接虚拟机master（开启状态下）1、查看master的IP地址a） 使用root用户登
转载
2023-10-24 11:20:15
119阅读
目录一.前言二.hive的启动与连接2.1 启动hadoop2.2 启动hive2.3 一些注意事项一.前言 太久没用hive了，今天想重新熟悉一下，结果发现自己甚至忘记了怎么启动。。于是特此记录篇笔记，便于以后忘记时查阅，不会写的太细。 &nbs
转载
2023-09-01 08:40:37
183阅读
到官网下载eclipse，这里我下载2021-6版本的eclipse，网站https://www.eclipse.org/downloads/packages/（2）解压刚刚下载好的eclipse压缩包，可以到文件夹中双击带有一个大齿轮图片文件名为eclipse的文件来启动安装程序也可以通过shell命令执行eclipse-init文件来安装，如下图：（3）安装选择java Developers选
转载
2023-11-11 23:57:39
68阅读
首先打开虚拟机centos以及他的三个克隆机，并打开xshell连接到这四台虚拟机。 到此就已成功打开和连接。然后在xshell中连接的主机centos7上输入如下命令打开集群：（一条一条的输入）cd /opt/hadoop-3.1.4/sbin
./start-dfs.sh
./start-yarn.sh
./mr-jobhistory-daemon.sh start historys
转载
2023-09-17 13:23:01
215阅读
目录一、概述（1）大数据的发展历程（2）大数据的特征及核心工作内容（3）常见的大数据技术框架及其负责的场景二、Apache Hadoop三、Hadoop HDFS部署（1）分布式的基础架构（2）HDFS的基础架构（3）Vmware Workstation部署HDFS集群（4）云服务器上部署HDFS集群四、Hadoop HDFS的Shell操作（常见命令）（1）进程的启停管理（2）文件系统操作命令五
转载
2024-08-02 13:53:26
42阅读
目录一、概述二、EFAK kafka鉴权配置（zookeeper无鉴权）1）kafka Kerberos 鉴权 配置1、启动zookeeper服务2、启动kafka服务3、配置EFAK4、把配置copy到几个节点5、启动EFAK服务6、测试验证2）kafka 账号密码鉴权 配置1、启动zookeeper服务2、启动kafka服务3、配置EFAK4、把配置copy到几个节点5、启动EFAK服务6、测
转载
2023-12-13 21:49:37
147阅读
这两天折腾在eclipse中写hadoop map-reduce jobs，遇到了以下问题：1、无法配置ssh无密码登录2、无法启动hadoop守护进程3、hadoop-0.20.203.0的eclipse插件有问题4、通过eclipse插件连接非本地hadoop伪分布式集群，出现“拒绝连接”5、通过eclipse插件连接非本地hadoop成功后，权限不够、无法提交任务解决如下：环境：ubuntu
转载
2023-10-10 20:31:32
831阅读
环境：Centos 6.9，Hadoop 2.7.1,JDK 1.8.0_161,Maven 3.3.9前言： 1、配置一台master服务器，两台或多台slave服务器。 2、master可以无密码ssh登陆slave 3、解压安装Hadoop，配置hadoop的core-site.xml、hdfs-site.xml、mapre
转载
2023-07-24 14:24:18
78阅读
序言1.内容介绍 本章介绍了Hadoop的综合概述、连接Hadoop集群的基本条件以及具体连接的实现步骤。2.理论目标了解Hadoop分布式文件系统了解MapReduce计算框架掌握Apache Hadoop常用的发行版本掌握连接Hadoop的前提条件3.实践目标掌握连接Hadoop集群的操作4.实践案例连接Hadoop集群实战操作5.内容目录1.Hadoop简介2.连接基本条件3.连接主要步骤4
转载
2023-06-14 22:29:53
130阅读
1.jdk环境配置1.1 下载一个1.8版本的jdk（如果系统自带1.8版本的话 可以忽略这一条）我提供一个官网的版本 也是我确定可以用的版本：https://www.oracle.com/cn/java/technologies/javase-jdk8-downloads.html 因为我所学的Hadoop只能在jdk 1.8环境下跑，进行远程连接如果jdk版本过高的话是无法成功的，
转载
2024-02-23 11:08:19
72阅读
Hadoop之hive工具的安装配置详解实验目的 hive是基于Hadoop的-一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sq|语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。☛掌握数据库工具Hive的安装和
转载
2024-08-02 13:07:49
48阅读
前面一遍博文介绍了如何安装配置hadoop地址：ubuntu安装配置hadoop这里就来介绍一下用eclipse如何连接hadoop开发由于我用的是虚拟机中的系统来做测试，多少有点不正确，还请谅解！1.首先 要下载eclipse hadoop插件我用的是hadoop 1.0.4的版本,这里有个已经做好了的版本下载地址：hadoop-eclipse-plugin-1.0.4.jar下载下来直接把ja
转载
2024-05-09 10:38:26
51阅读
目录一、概述二、Hudi CLI三、Spark 与 Hudi 整合使用1）Spark 测试2）Spark 与 Hudi 整合使用1、启动spark-shell2、导入park及Hudi相关包3、定义变量4、模拟生成Trip乘车数据5、将模拟数据List转换为DataFrame数据集6、将数据写入到hudi四、Flink 与 Hudi 整合使用1）启动flink集群2） 启动flink SQL 客
转载
2023-07-12 02:19:06
211阅读
先说下我自己laptop没有hadoop环境（虚拟机中有伪分布式，不过是为了熟悉hadoop啦），也没有像网上那样用cygwin，主要得益于实验室服务器上师兄之前搭建了hadoop集群，之前一直用xshell连接的。不过后面要写mapreduce程序的时候在本地写再打包成jar放到hadoop上跑就没法本地运行测试了。所以这里是记录：本机eclipse远程连接hadoop集群，使用hadoop2x
转载
2023-11-29 20:01:21
38阅读
NAT方式1、查看网络信息——ifconfig（同windows中的ipconfig相同）主要关注的是第三行内容，分别是Ip地址、广播地址、子网掩码 2、安装完系统后需要配置三个地方——IP地址、主机名、网络映射【IP】第一步：虚拟机网关设置：选择虚拟网络编辑器 （1）选择VMnet8，然后点击NAT设置 （2）点击上面
转载
2023-07-12 13:30:17
93阅读
# 从“无法连接 Hadoop”到成功连接的步骤指南
在进入 Hadoop 生态系统之前，很多刚入行的小白可能会遇到各种连接错误。其中，“无法连接”、“拒绝连接”是最常见的问题之一。本文将逐步解释处理这一问题的流程，并提供实现的代码及注释，帮助你更好地理解。
## 整体流程
为了帮助你快速解决“无法连接 Hadoop”的问题，以下是整个学习和解决问题的步骤。在步骤表中，你可以看到需要执行的每
原创
2024-09-03 04:12:44
936阅读
