1. HADOOP背景介绍1.1 什么是HADOOP1. HADOOP是apache旗下的一套开源软件平台2. HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理3. HADOOP的核心组件有A. HDFS（分布式文件系统）B. YARN（运算资源调度系统）C. MAPREDUCE（分布式运算编程框
转载
2023-07-20 17:35:30
59阅读
# Hadoop集群名字查看
Hadoop是一个开源的软件框架，能够处理大规模的数据集，广泛用于数据存储和分析。使用Hadoop集群时，了解集群的名字是管理和维护的关键一环。本文将通过一些方法来查看Hadoop集群的名字，并提供相应的代码示例，方便读者进行实践。
## 1. 集群名字的概念
Hadoop集群的名字通常在配置文件中指定，它可以帮助用户识别不同的Hadoop实例。在Hadoop的
原创
2024-09-25 07:37:24
244阅读
Hadoop说起 hadoop ，可能现在许多人都不会陌生，但读就不一定读的对了。Hadoop的发音是 [hædu:p]。Hadoop这个名字是Hadoop项目创建者Doug Cutting 的儿子的一只玩具的名字。他的儿子一直称呼一只×××的大象玩具为 Hadoop 。这刚好满足Cutting 的命名需求，简短，容易拼写和发音，毫无意义，不会在别处使用。于是 Hadoop 就诞生了。Zookee
转载
2023-11-15 07:32:23
49阅读
hadoop hdfs常用命令 hadoop常用命令： hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hado
前言本篇博客内容是在虚拟机的CentOS7系统上搭建Hadoop集群的步骤，Hadoop集群的节点分为namenode和datanode，namenode可以看作是Hadoop的master节点，datanode可以看作是node节点，一个集群一般由一个namenode和多个datanode组成一.准备工作1.1 修改主机名修改network文件vi /etc/sysconfig/network，
转载
2024-04-02 19:38:18
29阅读
作者：徐德昌 背景 ：Hadoop生态系统中，集群节点间通常使用主机名（域名）来通信。目前我们的集群是使用/etc/hosts文件来做主机名和IP的映射关系。使用hosts文件的优点是简单，但一个非常显著的缺点是其维护成本会随着集群规模的扩大而变得越来越大，集群扩容时因hosts文件未同步导致的故障非常频繁。更优的方案是使用DNS来管理主机名和IP的映射关系。一、需要解决的问题主机名能够同时在集群
转载
2023-08-27 22:12:00
3阅读
Hadoop安装（伪集群）1、安装准备2、SSH设置和密钥生成3、下载hadoop解压4、配置系统环境变量5、配置hadoop6、验证Hadoop安装7、hdfs基本操作和wordcount程序 1、安装准备linux（centos64位）系统 java jdk1.8 全文使用root账户2、SSH设置和密钥生成下面的命令用于生成使用SSH键值对。复制公钥形成 id_rsa.pub 到autho
转载
2023-12-29 23:34:54
102阅读
一、 创建新用户 首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 : $ sudo useradd -m hadoop -s /bin/bash sudo是ubuntu中一种权限管理机制，管理员可以授权给一些普通用户去执行一些需要root权限
转载
2023-10-11 22:59:05
68阅读
一、Hadoop的起源Hadoop是Google的集群系统的开源实现(1)Google集群系统：GFS(Google File System), MapReduce， BigTable(2)Hadoop主要由HDFS(Hadoop Distributed File System Hadoop分布式文件系统)，MapReduce和HBase组成Hadoop的初衷是为解决Nutch 的海量数据爬取和存
转载
2023-11-18 23:30:56
161阅读
Hadoop简介 官方网站： http://hadoop.apache.org/ 中文网站： http://hadoop.apache.org/docs/r1.0.4/cn/Hadoop设计来源根据Google的三大论文 GFS（Google File System）：创始人
转载
2023-07-13 16:45:32
83阅读
# Hadoop分布式文件系统（HDFS）中的文件重命名操作
## 引言
在Hadoop分布式文件系统（HDFS）中，文件重命名是一项常见的操作。通过重命名文件，我们可以更改文件的名称和位置，以适应不同的业务需求。本文将介绍如何使用Hadoop命令行工具和Hadoop Java API来执行文件重命名操作。
## Hadoop文件系统（HDFS）简介
Hadoop文件系统（HDFS）是Ha
原创
2023-09-28 23:00:35
291阅读
# 如何查看 Hadoop 集群的名称
Hadoop 是一个分布式计算框架，用于处理大规模数据的存储和处理。Hadoop 集群是由多个计算节点组成的，每个节点都具有唯一的名称。在本文中，我们将讨论如何查看 Hadoop 集群的名称。
## 1. 前提条件
在开始之前，确保已经安装和配置了 Hadoop 集群，并且集群正在运行。
## 2. 查看 Hadoop 集群的名称
Hadoop 集
原创
2023-11-13 09:35:22
325阅读
# Hadoop修改文件夹名字
## 介绍
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。在Hadoop中，文件和文件夹被存储在分布式文件系统HDFS中。在某些情况下，我们可能需要修改HDFS中文件夹的名称。本文将介绍如何在Hadoop中修改文件夹的名字，并提供相应的代码示例。
## Hadoop分布式文件系统(HDFS)简介
Hadoop分布式文件系统(HDFS)是Had
原创
2023-09-13 14:11:59
944阅读
# 修改 Hadoop 文件夹名字的完整指南
在大数据处理领域，Hadoop 是一个非常流行的分布式计算平台。在使用 Hadoop 的过程中，用户经常需要对 HDFS（Hadoop 分布式文件系统）上的文件夹进行管理，包括重命名文件夹。本文将详细介绍如何修改 Hadoop 文件夹的名字，并提供相应的代码示例。
## HDFS 文件夹重命名的命令
在 Hadoop 中，修改文件夹的名字可以使用
前言：一、概述集群规模大致步骤①、上传解压重命名环境变量source生效②、修改配置文件hadoop-env.sh
yarn-env.sh
hdfs-site.xml
core-site.xml
mapred-site.xml
yarn-site.xml
slaves （直接翻译为“奴隶”，作用是：用来标识从节点的ip地址的别名）③启动集群④验证并完善shell脚本二、实操开始前提（准备）jdk、
转载
2023-07-14 16:20:39
238阅读
一、安装Linux操作系统安装过程略，安装完后对系统做一下更新：$sudo apt-get update二、修改机器名,并与IP地址绑定每当Ubuntu安装成功时，我们的机器名都默认为：ubuntu ，但为了以后集群中能够容易分辨各台服务器，需要给每台机器取个不同的名字。机器名由 /etc/hostname文件决定。步骤如下：1、$ sudo&nb
转载
2023-10-17 20:14:40
72阅读
Hadoop3.2.1单节点集群搭建本次集群搭建使用了三台服务器，一个主节点，两个从节点准备工作确保三台服务器之间互相能ping通，安装好JDK环境(JDK1.8)一： 设置主机名称hostnamectl set-hostname 主机名
#主节点的主机名设置为hadoop1，两个从节点的主机名设置为hadoop2以及hadoop3
# eg:hostnamectl set-hostname ha
转载
2023-09-21 06:37:53
70阅读
Hadoop与大数据Hadoop可以说是大数据的代名词。 其实准确来说是Hadoop家族是大数据的代名词，家族成员有：Hadoop、Hive、Pig、HBase、Sqoop、Zookeeper、Avro、Chukwa等。家族成员每个基本都可以独挡一面，但结合他们，就可以架构出一个大数据平台。成员太多了，只能一个个的学，可以先学习Zookeeper，再到Hadoop，再到Hive等。 Hadoop又
转载
2024-03-07 10:23:34
80阅读
前一天搭建hadoop的机器环境之后，今天正式来搭建hadoop集群。前提条件是四台网络能互相联通的linux，且能联通你的window本机。1.centos7修改主机名和hosts在CentOS中，有三种定义的主机名:静态的（static），瞬态的（transient），和灵活的（pretty）。“静态”主机名也称为内核主机名，是系统在启动时从/etc/hostname自动初始化的主机名。“瞬态
转载
2023-07-12 14:49:39
71阅读
2.课程整体介绍[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fxJ90a9K-1628748843757)(day01_hadoop.assets/1628589606864.png)]3.大数据介绍什么是大数据？简单来说大数据就是海量数据及其处理。大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能
转载
2024-08-06 10:57:12
47阅读
