二、安装部署环境：macOS High Sierra10.13.6、mysql8.0.15、Hadoop3.1.1、Hive3.1.1。参考资料：Hadoop: Setting up a Single Node Cluster1、安装MySQL在mysql官网下载安装包。我下载的是mysql-8.0.15-macos10.14-x86_64.dmg。双击文件就进入了安装流程，按照提示操作就行了。安
# 安装Hadoop出错的常见问题及解决方案
Hadoop是一个分布式计算框架，用于处理大数据。虽然安装Hadoop的过程相对简单，但在某些情况下，用户可能会遇到各种错误。本文将为您提供Hadoop安装过程中遇到的常见错误和解决方案，并附带代码示例，帮助您顺利完成安装。
## Hadoop安装步骤
在安装Hadoop之前，确保您的系统满足以下基本要求：
- Java JDK 1.8或更高版本
1. 一定要选择稳定版，这样会不容易被一些可能是bug的问题搞的头昏脑涨。
教训1：第一次安装部署用了最新的0.18，首次配置用ip对文件系统的default进行设置，系统正常启动。但是运行程序出现reduce卡死，而且容易挂掉。看了一些帖子，说是用ip就会出现这样的问题。最后放弃ip，配置机器名hostname，出现slave
转载
2023-10-09 13:43:07
90阅读
废话不多说，直接上干货！一、首先完全卸载MySQL。如果安装已经失败了则这一步必须做（没有安装过的话就没有必要了，直接跳第二步），要先完全卸载MySQL才行，可以参考这个博客：传送门二、给计算机新建一个用户。根据我的错误总结，我之所以建议这么做，是因为C盘用户目录下user文件名本来就是因为中文报错，大部分博客都是说直接修改这个文件名，然后再修改注册表。但是这种方法首先会遇到一个问题：之前这个用户
转载
2023-10-06 09:56:23
166阅读
# 在 Hadoop 中格式化 NameNode 的错误处理指南
Hadoop 是一个广泛使用的开源分布式计算框架，建立在 Java 之上。要正确使用 Hadoop，尤其是HDFS（Hadoop 分布式文件系统），我们需要首先格式化 NameNode，使其能够处理数据。在这一过程中，可能会遇到一些错误。本文将带你逐步了解如何正确安装 Hadoop、格式化 NameNode，以及处理可能出现的错误
http://san-yun.iteye.com/blog/2106336google找到答案（http://stackoverflow.com/questions/13044201/ins
原创
2022-10-09 00:00:26
53阅读
Hadoop集群MYSQL的安装前言有一段时间没写文章了，最近事情挺多的，现在咱们回归正题，经过前面四篇文章的介绍，已经通过VMware安装了Hadoop的集群环境，相关的两款软件VSFTP和SecureCRT也已经正常安装了。本篇主要介绍在大数据应用中比较常用的一款软件Mysql，我相信这款软件不紧紧在大数据分析的时候会用到，现在作为开源系统中的比较优秀的一款关系型开源数据库已经被很多互联网公司
转载
2023-07-21 13:50:44
143阅读
1.准备安装包： MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle mysql-connector-java-5.1.39.jar（驱动,需要放入/hive/lib） apache-hive-1.2.1-bin.tar.gz2.安装mysql 数据用于储存元数据，hive自带Derby,但该数据库不稳定，使用mysql作为元数据管理 1）. 只需要安装
转载
2023-07-13 11:07:14
85阅读
一，hadoop环境安装： 1，JDB安装（1.8版本以上） 1：安装jdk 随意选择目录 只需把默认安装目录 \java 之前的目录修改即可 2：安装jre→更改→ \java 之前目录和安装 jdk 目录相同即可 注：若无安装目录要求，可全默认设置。无需做任何修改，两次均直接点下一步。 安
转载
2023-08-18 21:06:33
91阅读
我部署了一个Hadoop集群，但是在运行过程中总是会遇到各式的问题，虽然可以通过加一些Log来查看出错信息，但总是不太直观，并且也比较繁琐。因此最好能远程单步调试Hadoop。
在Hadoop中，一般常用的模块有：JobTracker、NameNode、DataNode、TaskTracker、JobClient、JobShell、FsShell、MapReduce等。那如
转载
2024-02-29 18:08:26
31阅读
1.appendToFile将【单个文件】或【多个文件】从本地文件系统追加到hdfs目标文件。用法：hadoop fs -appendToFile <localsrc> ... <dst>例子：hadoop fs -appendToFile log.txt word.txt hdfs://Hadoop1:9000/hd-test.txt
2.ca
转载
2023-07-24 10:20:44
147阅读
文章目录一、Hadoop安装配置文档及注意事项二、Hadoop概述2.1、Hadoop是什么2.2、Hadoop的发展历史2.3、Hadoop三大发行版本2.3.1 Apache Hadoop2.3.2 Cloudera Hadoop2.3.3 Hortonworks Hadoop2.4、Hadoop优势2.5、Hadoop组成2.5.1 HDFS架构概述2.5.2 YARN架构概述2.5.3
转载
2023-09-06 09:24:33
56阅读
序章 配合b站视频学习：https://www.bilibili.com/video/BV1j44y1R7UV/?spm_id_from=333.880.my_history.page.click&vd_source=544e580ac46e1956fb9abb2a6982e573改编自老师的代码：https://pan.baidu.c
转载
2023-12-29 23:40:47
83阅读
用到的安装包有：apache-hive-1.2.1-bin.tar.gzmysql-connector-java-5.1.49.tar.gz 百度网盘链接：链接：https://pan.baidu.com/s/1VU9rBPm9c_LE3llqvp8qZw提取码：zjhz 前提条件 ：搭建好Hadoop集群 建议：初学者初步安装看多看一下文中的建议。一．MySQL安装
转载
2023-06-30 14:36:54
209阅读
安装部署sqoop11.安装准备sqoop1 安装准备介质sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz 上传至自己指定的一个目录，与之前的操作相同，再进行解压后，然后解压目录复制到/usr/share 目录下：2.配置环境变量使用root 用户修改/etc/profile 文件，增加SQOOP_HOME 变量，并添加$SQOOP_HOME/BIN 路径保存退出
本文用到的软件设置固定IP（1）（2）修改配置文件“/etc/sysconfig/network-scripts/ifcfg-ens33”#修改：ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
\#添加以下内容
IPADDR=192.168.128.130(根据自身情况)
NETMASK=255.255.255.0
GATEWAY=192.168.128
转载
2023-07-24 09:32:05
618阅读
# 安装Hadoop集群时YARN文件内容出错原因及解决方法
## 引言
在安装Hadoop集群的过程中，配置YARN（Yet Another Resource Negotiator）文件是一个重要的步骤。然而，由于配置错误、语法问题或其他原因，可能会导致YARN文件内容出错。本文将指导你如何解决这些问题，并帮助你更好地理解整个过程。
## 流程概述
在解决YARN文件内容出错的问题之前，让我
原创
2023-07-23 21:33:44
809阅读
这一部分好像是我犯错最多的部分，所以各种弱鸡的bug将会放在这里。一、是什么和做什么1.为什么要使用hadoop和mysql结合的方式？这是我在学习时最想提到的问题，我们有很多种数据库，为什么偏偏用mysql 。hadoop与mysql放在一起究竟用来做什么。后来通过学习，认识到mysql用来读写储存hadoop处理过的数据结果，为什么用mysql则是因为它是一种关系型数据库而且能储存的数据量也算
转载
2023-09-01 08:53:50
81阅读
1. Input path does not exist：file:/路径名 这个问题肯定是core-site.xl 配置文件中fs.defaultFS配置项配置不正确。如果是本机运行hadoop，那么需要修改配置文件中此配置项为hdfs://IP:Port；如果是eclipse提交到服务器运行，需要将自己的配置文件add bulidpath，即配置文件右键-
转载
2023-09-22 13:09:42
97阅读
一、启动集群时 1.节点启动失败 1.1端口占用 1.1报错信息：address already in use - bind Address:50070
解决步骤：
查询端口占用：lsof -i:50070
查询到占用端口的进程：pid
杀死进程：kill -9 {pid} 1.2找不到路径 1.2报错信息(namenode)：could not find dir:x
转载
2024-01-02 09:23:05
165阅读
