Hadoop安装主要步骤：（1）安装运行环境（2）修改主机名和用户名（3）配置静态IP地址（4）配置SSH无密码连接（5）安装JDK (6) 配置Hadoop (7) 格式化 hdfs并验证安装 下面详细解释 （1）安装运行环境，本文采用的是ubuntu镜像文件,大小在1.95G.下载链接为： https:/
转载
2023-09-14 13:43:09
35阅读
用SCR用SSH协议连接linux的时候，linux上面有sshd的服务端才可以连接，默认linux就有这个服务。 1. 修改Linux的基本配置 **IP地址配置，最简单的一种，在命令运行 setup，带提示，按照提示修改即可 1.修改主机名 vi /etc/sysconfig/network N
转载
2018-04-26 19:14:00
143阅读
2评论
什么是Hadoop官网:http://hadoop.apache.org/HADOOP是apache旗下的一套概念...
原创
2022-09-27 14:51:42
63阅读
Hadoop基本概述Hadoop是基于Google的集群系统理论来进行的开源实现：Google的集群系统：GFS、MapReduce、BigTableHadoop的集群系统：HDFS、MapReduce、HBaseHadoop设计的初衷是为了解决Nutch的海量数据存储和处理的需求，可以解决大数据场景下的数据存储和处理的问题。一开始HDFS和MapReduce是作为Nutch的两个组件来使用，后来
Kubernetes 是一种用于自动部署、扩展和管理容器化应用程序的开源平台。在 K8S 中，通过 Service 来实现应用程序的访问控制和负载均衡。在这里，我将教你如何实现通过访问“http://hadoop01:50070”来访问 Hadoop 的 NameNode。
整个流程可以分为以下几个步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 部署 Hadoop
原创
2024-05-28 11:03:42
134阅读
# Hadoop 01设置副本
## 整件事情的流程
步骤|描述
-|-
1|了解Hadoop的副本机制
2|修改Hadoop配置文件
3|重新启动Hadoop集群
4|验证副本设置是否生效
## 每一步需要做什么
### 步骤1：了解Hadoop的副本机制
在开始设置副本之前，我们需要了解Hadoop的副本机制。Hadoop通过在集群中的不同节点上存储多个副本来提高数据的容错性和可靠性
原创
2023-09-25 08:47:55
37阅读
在windows下配置，还需要当心IP地址和eclipse配置时的问题，这需要单独说一下。在Ubuntu下eclipse新建hadoopIP直接填localhost就好，但是在windows下肯定是不行的，它需要连接到虚拟机中的hadoop，这里涉及到配置虚拟机Ubuntu的固定IP，还设计到telnet服务，比较麻烦，我们一个一个讲（所以说，还是推荐在Ubuntu下使用eclipse连接hado
win10安装完成后，如果防火墙是开启的话默认是禁ping的，禁ping是出于安全的考虑但是又经常给我们的使用带来一些麻烦，为了解除win10的禁ping，当然可以通过关闭防火墙的方式来实现，可是关闭防火墙又感觉有些不安全，大家可以按照我下述的方法在防火墙开启的情况下解除win10的禁ping.系统环境win10 企业版LTSC1.打开防火墙配置页使用快捷键win+r打开运行对话框，在打开输入框中
```
在本篇博文中，我们将介绍如何安装 SecureCRT 并连接到 Hadoop01。通过以下步骤，您将能够顺利完成连接配置并确保成功访问 Hadoop 系统。
## 环境准备
**软硬件要求**
| 组件 | 最低要求 | 推荐要求 |
|--------------|----------------------|
# 主机找不到错误（Host not found: 3(NXDOMAIN)）
## 介绍
在网络编程中，我们经常会遇到一些与主机名解析相关的问题。其中之一是"Host not found: 3(NXDOMAIN)"错误。这个错误是指当我们尝试通过主机名连接到某个特定的主机时，DNS（域名系统）无法找到该主机名的IP地址。本文将介绍这个错误的原因以及解决方法，并提供一些示例代码以帮助读者更好地理
原创
2023-08-26 12:55:18
1099阅读
需要创建超级用户组（可能安装完MySQL会自动创建，我这边是这样，但不确定是不是我之前装过的问题，所以推荐先设置一下） 这里我们需要单独创建一个mySQL的用户，作为MySQL的超级管理员用户，这里也方便我们以后的管理。groupadd mysql
添加用户组
useradd -g mysql mysql
添加用户
id mysql
查看用户信息。卸载MariaDB (1) rp
转载
2024-06-27 09:16:08
63阅读
系统:ubuntu14.04linux系统。一、hadoop安装安装ssh并设置免密码登录 sudo apt-get install ssh 安装完了后设置密码 $ssh-keygen -t rsa
$ cd .ssh
$ cp id_rsa.pub authorized_keys
$ chmod 644 authorized_key 下载hadoop安装包 wget
转载
2024-01-29 11:36:32
33阅读
hadoop01 拒绝了我们的连接请求
在使用 Hadoop 集群时，遇到“hadoop01 拒绝了我们的连接请求”这个常见问题相当让人头疼。可能是多个原因，比如网络配置不对、服务未启动、Firewall 限制等。通过本文，我们可以详细分解这个问题并找出解决方案。
# 版本对比与兼容性分析
为了更好地解决连接问题，我们需要分析不同 Hadoop 版本的特性。在下面的表格中，我们对比了几个主要
在运行 Hadoop 生态系统中的 NodeManager 时，我们遇到了一个经典问题：“hadoop01的nodemanager启动后自动关闭”。这是一个影响集群稳定性和任务调度的关键问题。接下来，我将详细记录解决这个问题的过程，包括版本对比、迁移指南、兼容性处理、实战案例、排错指南和生态扩展。
## 版本对比
在我们开始解决问题之前，了解 NodeManager 的不同版本特性至关重要。以
不适用本故障处理方法的场景PC终端或者操作系统问题网络存在ARP欺骗网络环路线路故障接入交换机配置错误网关交换机配置错误上网需要进行拨号上网部署网络认证使用DHCP动态获取地址的网络客户端采用IPV6地址无线网络PCping不通网关PCping不通网关是一个常见的问题，首先遇到这样的问题要先定界，再定位，之后定因。1、在PC上检查本地连接情况检查物理问题：查看网卡是否被禁用，查看水晶头是否摇晃不稳
转载
2024-02-03 05:04:02
190阅读
# Hadoop连接失败的原因及解决方法
在使用Hadoop集群时，有时会遇到连接被拒绝的问题，例如“Hadoop01拒绝了我们的连接请求”。这个问题的常见原因有很多，包括网络配置错误、Hadoop服务未启动、认证问题等。本文将探讨这些原因，并提供相应的解决方法，同时给出相关的代码示例以帮助理解。
## 可能的原因
1. **Hadoop服务未启动**
- 确保Hadoop相关的服务如
HTTPS的基本使用1.https简单说明
HTTPS（全称：Hyper Text Transfer Protocol over Secure Socket Layer），是以安全为目标的HTTP通道，简单讲是HTTP的安全版。
即HTTP下加入SSL层，HTTPS的安全基础是SSL，因此加密的详细内容就需要SSL。 它是一个URI scheme（抽象标识符体系），句法类同http:体系。用于安全
转载
2024-10-09 11:42:09
107阅读
---恢复内容开始---一.CentOS的设置:1.用户名：hadoop2.密码：1234563.root密码：1234564.ip地址：192.168.119.1805.本机目录：/opt -- 父目录 /pt/softwares
转载
2023-05-25 16:45:15
440阅读
### 实现DStream.saveAsTextFiles()的步骤
首先，我们需要明确任务的目标是实现DStream.saveAsTextFiles()方法，该方法用于将DStream中的数据保存为文本文件。
下面是实现该功能的步骤流程：
```mermaid
flowchart TD
A[创建Spark StreamingContext] --> B[创建DStream]
原创
2023-09-05 08:01:11
89阅读
# DStream.saveAsTextFiles()方法详解
## 介绍
DStream是Spark Streaming中最基本的抽象概念之一，代表连续的数据流。DStream.saveAsTextFiles()方法是一个用于将DStream中的数据保存到文本文件的方法。本文将详细介绍DStream.saveAsTextFiles()方法的用法和示例，并解释其背后的工作原理。
## 方法定义
原创
2023-08-24 07:21:55
177阅读
