一、前提介绍环境：centos7 虚拟机三台 软件：jdk1.8、hadoop2.7.2环境准备：设置虚拟机静态ip、域名、关闭防火墙，这些操作就不举例了，网上搜索一下即可我这里为了方便设置三台虚拟机为：hadoop102、hadoop103、hadoop104，这里域名需要在三机器上都配置，因为后续配置文件中使用这样的方式。二、上传解压tar包，配置环境上传jdk、hadoop 包到 /opt/
转载
2023-09-06 21:09:07
60阅读
一、启动Hadoop集群1.格式化到/opt/server/hadoop/sbin文件目录下格式化HDFS文件（如果不会可以看后面哦）(第一次部署才格式化，不需要每次都格式化，如果出错就删除data再格式化）2.启动hadoop集群 ①./start-dfs.sh ② ./start-yarn.sh（yarn服务）③./start-all.sh 3.查看进程jps4.
转载
2024-06-10 01:41:00
119阅读
什么是hadoop？ Hadoop 是 Apache 旗下的一个用 java 语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。 hadoop提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理。 狭义上来说hadoop 指 Apache 这款开源框架，它的核心组件有：hdfs（分布式
转载
2023-07-12 15:41:12
86阅读
本篇我们来看看HDFS集群的部署，1 Customize configuration files 下面介绍的配置文件的配置项是你集群中必须配置的 1&nbs
转载
2023-11-19 22:30:16
123阅读
hadoop三大核心：HDFS、YARN、MapReducehadoop四大模块： Common、HDFS、YARN、MapReduceHadoop Common：为其它Hadoop模块提供基础设施Hadoop Distributed File System (HDFS)：一个高可靠、高吞吐量的分布式文件系统；来源于google的GFS分布式文件系统。 易于扩展的分布式文件系统运行在
转载
2023-07-06 18:37:01
131阅读
Hadoop、Hive、Spark 之间的关系5G 时代，运营商网络不断提速，成本越来越低，流量越来越便宜。 给 互联网、物联网、互联网+ 各个行业的高速发展创造了非常好的有利条件，同时也产生了海量数据。 如何做好数据分析，计算，提取有价值信息，大数据技术一直是一个热门赛道 今天我们就对 Hadoop、Hive、Spark 做下分析对比 Hadoop Hadoop 称为大数据技术的基石。 由两部分
转载
2023-10-25 12:46:16
55阅读
目录准备工作HDFS API的使用org.apache.hadoop.fs.FileSystemorg.apache.hadoop.fs.Pathorg.apache.hadoop.fs.FsStatusorg.apache.hadoop.fs.FileStatusorg.apache.hadoop.fs.FSDataInputStreamorg.apache.hadoop.fs.FSDataOu
# 如何在Hadoop集群中使用HDFS上传文件
在大数据时代，Hadoop集群成为处理海量数据的重要工具。其中，HDFS（Hadoop Distributed File System）是Hadoop的核心模块，它为大数据存储提供了高效和可靠的解决方案。本文将介绍如何在Hadoop集群中将文件上传到HDFS，包括代码示例和序列图。
## HDFS简介
HDFS是一个基于Java的分布式文件系
原创
2024-09-28 06:52:43
233阅读
HDFS只是Hadoop最基本的一个服务，很多其他服务，都是基于HDFS展开的。所以部署一个HDFS集群，很很核心的一个动作，也是大数据平台的开始。
原创
精选
2017-10-11 16:44:40
6338阅读
点赞
文章目录迁移之前需要先考虑的事：迁移方案：迁移工具distCp概述：原理使用方法：Map数目不同HDFS版本间的拷贝Map/Reduce和副效应迁移期间新老两个集群的资源消耗是怎样的如何提高数据迁移速度带宽如何限制迁移之后的数据一致性如何校验迁移之后的文件权限迁移过程中老集群目录新增了文件，删除了文件怎么办迁移中遇到文件已存在的情况怎么办？迁移了一半，任务失败了怎么办？遇到需要对一个文件增量同步
转载
2023-09-20 08:51:48
179阅读
一、了解HBase1.1 HBase概述HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，用于存储海量的结构化或者半结构化，非结构化的数据HBase是Hadoop的生态系统之一，是建立在Hadoop文件系统（HDFS）之上的分布式、面向列的数据库，通过利用Hadoop的文件系统提供容错能力。如果需要进行实时读写或者随机访问大规模的数据集的时候，会考虑使用HBase。1.2 HBa
转载
2023-07-13 14:28:48
440阅读
已经过无数人进行搭建试验，成功率100% namenode和datanode的比较： 相同点： 1.
每台机器都放置相同的程序 （五个
.xml
文件） 2.
每台机器都配置相同环境变量 不相同： 3.
第一台机器能够无密码登录到
2345
的机器上 4.
第二台机器能够无密码登录到
1
转载
2024-03-25 16:22:34
57阅读
学习一个新技术，个人觉得先总体把握其架构思想，再进行实践，实践中体会反思，效果较好。现在继续上篇hadoop的安装和配置，来学习hadoop的架构和设计。先声明这是转过来的一篇比较老的博文，略加简化，便于复习。1. hadoophadoop是一分布式计算开源框架，最核心的是：MapReduce和HDFS。MapReduce是一编程模型，用于大数据量的并行计算。字面意义：分解/汇总。HDFS是分布式
转载
2023-07-21 14:39:02
89阅读
答：HDFS是Hadoop分布式文件系统，它和对象存储都可以实现非结构化数据的存储，也都具有冗余保护机制。也都具有分布式架构。但是还是有一些区别的。1、对象存储可以具有多租户的架构，而HDFS没有多租户架构这个概念。2、HDFS主节点不可靠。HDFS使用了中央系统来维护文件元数据(Namenode，名称节点)。HDFS具有一个主节点和一系列从节点。从节点处理数据并将结果发送给主节点。主节点还需要维
转载
2023-09-20 07:02:00
101阅读
1、背景部门有个需求，在网络互通的情况下，把现有的hadoop集群（未做Kerberos认证，集群名为：bd-stg-hadoop）的一些hdfs文件拷贝到新的hadoop集群（做了Kerberos认证，集群名为zp-tt-hadoop）如果是两个都没有做安全认证的集群互传文件，使用distcp可以很快实现。通过查阅资料，在cdh的官网上竟然有这么神奇的一个参数可以解决这么一个奇葩的需求。
转载
2023-07-12 15:55:26
215阅读
项目中需要进行国产化适配，需要把线上生产环境迁移到新国产化服务器集群上，记录一下数据迁移的实际操作情况一、hdfs数据进行迁移使用hadoop的命令distcp进行hdfs数据迁移:单层目录结构 命令格式如下：hadoop distcp -update [源hdfs目录] [目的hdfs目录] >> digtcp.log 2>&1 实例如下：hadoop distcp
转载
2023-09-22 12:55:22
145阅读
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。 注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译 （建议第一次安装用32位的系统）
安装前的准备： 1).安装PieTTY远程桌面连接工具&nbs
转载
2024-09-20 07:09:27
47阅读
本博客用到的虚拟机客户机已将前五步完成，从6）开始 现有三台客户机，hadoop112,hadoop113,hadoop114。其中hadoop112已完成JDK、Hadoop的安装以及环境变量的配置。所以需要将112上的两者复制到113和114上。1、将JDK用scp方法从112复制到113上scp -r jdk1.8.0_212/ dlw@hadoop113:/opt/module/从113上
转载
2024-04-01 06:42:46
65阅读
目录一、HDFS集群一键启停脚本1. HDFS集群的一键启动脚本2. HDFS集群的一键关闭脚本二、单进程启停1. hadoop-daemon.sh脚本2. hdfs脚本三、总结1. 一键启停脚本2. 独立进程启停一、HDFS集群一键启停脚本 Hadoop HDFS组件内置了HDFS集群的一键启停脚本。1
## Hadoop HDFS 集群通信认证方案
在 Hadoop 中，HDFS 是分布式文件系统，用于存储大量数据并提供高可靠性。然而，由于 HDFS 是一个分布式系统，集群中的各个节点需要进行通信，因此需要确保通信过程中的安全性和认证。下面将介绍 Hadoop HDFS 集群通信认证的方案以及代码示例。
### Kerberos 认证
Kerberos 是一种网络身份验证协议，可以确保在不
原创
2024-07-05 06:19:42
46阅读
