本系列会持续更新。一、JVM内存调优 对JVM内存的系统级的调优主要的目的是减少GC的频率和Full GC的次数。1.Full GC会对整个堆进行整理，包括Young、Tenured和Perm。Full GC因为需要对整个堆进行回收，所以比较慢，因此应该尽可能减少Full GC的次数。2.导致Full GC的原因1)年老代（Tenured）被写满调优时尽量让对象在新生代G
1、HDFS 通过 REST HTTP API数据访问1.1 HDFS常见客户端HDFS Shell Command 的操作俗称命令行操作。命令格式类似与Linux的shell对文件的操作，举例，RPC协议hadoop fs 命令
hdfs dfs 命令Java APIHDFS Java API提供了java代码操作HDFS的能力，大数据开发中常用的方式核心类FileSyst
转载
2024-03-20 08:36:59
58阅读
文章目录DFSOutputStreamDataStreamer线程PIPELINE整理1. [HDFS写文件过程分析]2. [Hadoop Pipeline详解]3. [再议HDFS写流程之pipeline]4.[HDFS源码分析（5）：datanode数据块的读与写]5.[Hhadoop-2.7.0中HDFS写文件源码分析（二）：客户端实现之DFSPacket]开启debug模式流程分析核心流
### Hadoop distcp 需要开通的端口
在使用Hadoop分布式文件系统（HDFS）时，我们经常需要在不同的集群之间复制数据。Hadoop的`distcp`工具是一个强大的工具，它可以在不同的HDFS集群之间进行高效的数据复制。然而，为了使`distcp`工具正常工作，我们需要确保端口是开通的。
#### distcp 简介
`distcp`是Hadoop提供的一个用于在不同的H
原创
2023-10-03 04:18:53
424阅读
目的本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。先决条件确保在你集群中的每个节点上都安装了所有必需软件。
获取Hadoop软件包。安装安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。通常，集群里的一台机器被指定为 NameNode，另一台不同的机器
转载
2023-07-28 16:42:42
109阅读
# 如何实现 Hadoop distcp 需要开通的网络
在大数据处理的领域，Hadoop 是一个广泛使用的框架，而 distcp （分布式复制）是其下一个非常有用的工具，用于跨集群的数据复制。然而，在使用 distcp 之前，确保网络设置正确是非常重要的。本文将指导你如何设定必要的网络配置，以便成功使用 Hadoop distcp。
## 流程概述
下面是实现 Hadoop distcp
Hadoop中的distcp命令是用于在Hadoop集群之间复制数据的工具。它可以在不同的Hadoop集群之间、不同的Hadoop文件系统之间、甚至在本地文件系统和Hadoop文件系统之间复制数据。distcp命令的原理是通过分布式的方式将源文件拆分成多个块，并在目标集群上并行地进行复制。它通过MapReduce作业来完成复制的过程，源文件会被分成多个文件块，每个文件块通过拷贝过程分发到目标集群上
转载
2024-06-18 08:37:23
62阅读
在Kubernetes集群中使用HDFS Distcp数据传输工具
作为一名经验丰富的开发者，我可以帮助你学习如何在Kubernetes集群中使用HDFS Distcp数据传输工具。首先，让我们了解一下HDFS Distcp的基本概念。
HDFS Distcp是Apache Hadoop中的一个工具，用于在不同的Hadoop集群之间复制大量数据。它可以在不影响正在进行的作业的情况下，高效地将数
原创
2024-05-24 09:54:12
196阅读
# 连接HBase需要开通的端口
## 整体流程
首先，我们需要了解连接HBase所需要的端口。一般情况下，HBase使用的端口有三个：Zookeeper端口、HMaster端口和RegionServer端口。接下来，我们将一步步教你如何连接HBase并开通这些端口。
### 连接HBase端口流程
| 步骤 | 操作 |
|------|---------------
原创
2024-03-25 06:10:11
94阅读
NFS是Network File System的缩写，即网络文件系统。客户端通过挂载的方式将NFS服务器端共享的数据目录挂载到本地目录下。一、nfs为什么需要RPC?因为NFS支持的功能很多，不同功能会使用不同程序来启动，因此，NFS对应的功能所对应的端口无法固定。端口不固定造成客户端与服务端之间的通信障碍，所以需要RPC来从中帮忙。NFS启动时会随机取用若干端口，然后主动向RPC服务注册取用相关
转载
2024-04-19 15:55:52
207阅读
文章目录1. 集群间数据拷贝2. Hadoop归档3. 快照4. 回收站 1. 集群间数据拷贝1）scp实现两个远程主机之间的文件复制# 推 push
scp -r hello.txt root@bigdata111:/user/during/hello.txt
# 拉 pull
scp -r root@bigdata112:/user/during/hello.txt hello.tx
转载
2023-12-02 18:51:47
63阅读
一.初识elasticsearch(1) 作用elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容在GitHub搜索代码在电商网站搜索商品在百度搜索答案在打车软件搜索附近的车(2) ELK技术栈elasticsearch结合kibana、Logstash、Beats，也就是elastic stack（ELK）。被广泛应用在日志数据分
背景 我们在进行两个集群间数据同步的时候,使用的是hdfs的distcp的方式进行跨集群跨版本的数据同步,但是在执行hdfs distcp 命令时,发现在运行到 with build listing处就卡住了 . 具体问题如下图: 针对问题解决,中间我们试过了哪些办法 1 首先查看hdfs本身服务状态是否正常,get命令是否可用? 这里我们尝试使用get的方式从源集群中下载一个文件来
转载
2024-06-19 09:07:42
101阅读
# 连接远程Hive所需的端口开通指南
连接远程Hive数据库需要进行几个步骤，包括识别Hive的默认端口、配置网络防火墙以及测试连接。本文将详细介绍每一步，包括所需的命令和代码，以助你迅速掌握如何开通远程Hive的连接端口。
## 流程概览
以下是连接远程Hive所需的一般步骤：
| 步骤 | 描述
原创
2024-10-02 06:19:50
210阅读
一、集群之间数据的拷贝1.scp实现两个远程主机之间的文件复制scp -r hello.txt root@bigdata111:/user/itstar/hello.txt // 推 push
scp -r root@bigdata112:/user/itstar/hello.txt hello.txt // 拉 pull
scp -r root@bigdata1
转载
2023-12-02 18:51:37
128阅读
# 远程连接 HBase 需要开通端口教程
## 引言
作为一名经验丰富的开发者，我们需要传授给刚入行的小白如何实现远程连接 HBase 需要开通端口的方法。本教程将以清晰的步骤和代码示例来帮助小白快速掌握这一技能。
## 整体流程
为了帮助小白更好地理解远程连接 HBase 需要开通端口的过程，我们可以用以下表格展示整个流程：
| 步骤 | 描述 |
|
原创
2024-03-11 03:45:20
95阅读
在《HDFS源码分析心跳汇报之整体结构》一文中，我们详细了解了HDFS中关于心跳的整体结构，知道了BlockPoolManager、BPOfferService和BPServiceActor三者之间的关系。那么，HDFS心跳相关的这些数据结构，都是如何被初始化的呢？本文，我们就开始研究HDFS心跳汇报之数据结构初始化。  
转载
2024-06-06 12:59:51
80阅读
hdp集群数据迁移由于公司大数据平台建设升级调整，需要把开发集群（hdp 2.6）上的数据迁移到生产集群（hdp3.1），所以我们需要做历史数据迁移。准备工作就不说了，这里直接上迁移方案！目前方案有两种，第一种是采用distcp命令，直接将开发集群上的hdfs中的数据迁移到生产集群上，第二种采用scp命令，将开发集群上的数据hdfs dfs -get到本地，然后把数据从开发本地scp到生产集群本地
转载
2024-04-12 06:02:11
148阅读
文章目录HDFS 功能和特性1.Snapshot快照1.概念2.快照功能开启3.快照功能禁用4.快照命令2.权限管理(认证，授权，审计)1.概念2.HDFS UGO权限管理3.umask权限掩码，文件和目录的默认权限4.权限相关命令5.Sticky bit(粘滞位)6.HDFS用户身份认证simple认证kerberos认证7.HDFS Group Mapping组映射8.HDFS ACL权限管
转载
2024-05-17 04:03:11
113阅读
1.NFS的基础知识
NFS的目的是通过网络，让不同的机器，不同的操作系统彼此共享数据文件。这个文件的配置十分简单，但是一定要启动Remote Procedure Call （RPC，就是rpcbind这个软件）。 RPC最主要的功能就是指定每个NFS功能所对应的port number，并通知给客户端，让客户端去连接那些端口。 因为当NFS服务器启动
转载
2024-10-17 21:19:22
175阅读
