本系列会持续更新。一、JVM内存调优 对JVM内存的系统级的调优主要的目的是减少GC的频率和Full GC的次数。1.Full GC会对整个堆进行整理，包括Young、Tenured和Perm。Full GC因为需要对整个堆进行回收，所以比较慢，因此应该尽可能减少Full GC的次数。2.导致Full GC的原因1)年老代（Tenured）被写满调优时尽量让对象在新生代G
文章目录DFSOutputStreamDataStreamer线程PIPELINE整理1. [HDFS写文件过程分析]2. [Hadoop Pipeline详解]3. [再议HDFS写流程之pipeline]4.[HDFS源码分析（5）：datanode数据块的读与写]5.[Hhadoop-2.7.0中HDFS写文件源码分析（二）：客户端实现之DFSPacket]开启debug模式流程分析核心流
1、HDFS 通过 REST HTTP API数据访问1.1 HDFS常见客户端HDFS Shell Command 的操作俗称命令行操作。命令格式类似与Linux的shell对文件的操作，举例，RPC协议hadoop fs 命令
hdfs dfs 命令Java APIHDFS Java API提供了java代码操作HDFS的能力，大数据开发中常用的方式核心类FileSyst
转载
2024-03-20 08:36:59
58阅读
### Hadoop distcp 需要开通的端口
在使用Hadoop分布式文件系统（HDFS）时，我们经常需要在不同的集群之间复制数据。Hadoop的`distcp`工具是一个强大的工具，它可以在不同的HDFS集群之间进行高效的数据复制。然而，为了使`distcp`工具正常工作，我们需要确保端口是开通的。
#### distcp 简介
`distcp`是Hadoop提供的一个用于在不同的H
原创
2023-10-03 04:18:53
424阅读
Hadoop中的distcp命令是用于在Hadoop集群之间复制数据的工具。它可以在不同的Hadoop集群之间、不同的Hadoop文件系统之间、甚至在本地文件系统和Hadoop文件系统之间复制数据。distcp命令的原理是通过分布式的方式将源文件拆分成多个块，并在目标集群上并行地进行复制。它通过MapReduce作业来完成复制的过程，源文件会被分成多个文件块，每个文件块通过拷贝过程分发到目标集群上
转载
2024-06-18 08:37:23
62阅读
目的本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。先决条件确保在你集群中的每个节点上都安装了所有必需软件。
获取Hadoop软件包。安装安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。通常，集群里的一台机器被指定为 NameNode，另一台不同的机器
转载
2023-07-28 16:42:42
109阅读
# 如何实现 Hadoop distcp 需要开通的网络
在大数据处理的领域，Hadoop 是一个广泛使用的框架，而 distcp （分布式复制）是其下一个非常有用的工具，用于跨集群的数据复制。然而，在使用 distcp 之前，确保网络设置正确是非常重要的。本文将指导你如何设定必要的网络配置，以便成功使用 Hadoop distcp。
## 流程概述
下面是实现 Hadoop distcp
文章目录3台服务器部署结构目录规划一、前提条件1、确保集群中已经安装好了hadoop（2.7及以上版本）；2、确保集群中每台机器上已经安装好了scala（2.12及以上版本）；二、安装Spark-2.4.01、下载Spark安装包，下载地址：http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-h
Samba用于linux和windows之间传输文件应用环境：1、文件和打印机的共享，将其发布到网路中，以供用户访问2、身份和权限的设置，有多种身份验证模式，可通过加密方式保护共享的文件和打印机端口号：139 445Netbios协议，network basic Input/Output System，网络基本输入输出系统协议主要作用：通过NETBIOS协议获得计算机名称，然后解析为对
转载
2024-08-14 09:40:09
90阅读
FTP（文件传输协议）概念 FTP基于C/S模式，FTP客户端与服务器端有两种传输模式，分别是FTP主动模式、FTP被动模式，主被动模式均是以FTP服务器端为参照。企业实际环境中,如果FTP客户端与FTP服务端均开放防火墙，FTP需以主动模式工作,这样只需要在FTP服务器端防火墙规则中,开放20、21 端口即可。工作模式 服务器使用两个端口和客户端通信，一个是命令端口，也叫控制端口，默认是 2
转载
2024-04-22 19:01:14
139阅读
在Kubernetes集群中使用HDFS Distcp数据传输工具
作为一名经验丰富的开发者，我可以帮助你学习如何在Kubernetes集群中使用HDFS Distcp数据传输工具。首先，让我们了解一下HDFS Distcp的基本概念。
HDFS Distcp是Apache Hadoop中的一个工具，用于在不同的Hadoop集群之间复制大量数据。它可以在不影响正在进行的作业的情况下，高效地将数
原创
2024-05-24 09:54:12
196阅读
WinXP共享需要137、138、139，4451、137端口这个端口是用来请求NetBios名到IP地址达。比如有人喊“123计算机您共享C盘下的ABC.doc这个文件的IP地址是多少”。于是这个呐喊被广播，只有IP地址是123的回答了。2、138端口这个端口是您浏览[网络邻居]用的。您网络里有台计算机叫主浏览器计算机维护着共享列表。所以这个端口封了也就不能通过[网络邻居]来查看其他计算机喽。当
转载
精选
2013-12-14 09:40:21
10000+阅读
文章目录1. 集群间数据拷贝2. Hadoop归档3. 快照4. 回收站 1. 集群间数据拷贝1）scp实现两个远程主机之间的文件复制# 推 push
scp -r hello.txt root@bigdata111:/user/during/hello.txt
# 拉 pull
scp -r root@bigdata112:/user/during/hello.txt hello.tx
转载
2023-12-02 18:51:47
63阅读
文章目录前言服务器基本配置Hadoop完全分布式搭建 前言本次使用的云服务器分别是：阿里云服务器、华为云服务器以及百度云服务器。配置均为2核4G1M，仅作为学习使用。 软件方面： xshell6 xtp6 jdk1.8 hadoop3.1.3 节点名称 阿里云：node1 华为云：node2 百度云：node3服务器基本配置创建好实例后，首先要进行连接。本实验使用的是xshell6连接工具。这里
一.初识elasticsearch(1) 作用elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容在GitHub搜索代码在电商网站搜索商品在百度搜索答案在打车软件搜索附近的车(2) ELK技术栈elasticsearch结合kibana、Logstash、Beats，也就是elastic stack（ELK）。被广泛应用在日志数据分
背景 我们在进行两个集群间数据同步的时候,使用的是hdfs的distcp的方式进行跨集群跨版本的数据同步,但是在执行hdfs distcp 命令时,发现在运行到 with build listing处就卡住了 . 具体问题如下图: 针对问题解决,中间我们试过了哪些办法 1 首先查看hdfs本身服务状态是否正常,get命令是否可用? 这里我们尝试使用get的方式从源集群中下载一个文件来
转载
2024-06-19 09:07:42
101阅读
使用SASL机制的KAFKA集群的安装 背景介绍 本文档是以xxxx最近布置的kafka集群为样本，结合一些教程和资料编写。之前xxxx使用的一直是0.8.2的版本，由于局方要求给实时数据交换平台添加安全认证分
转载
2024-05-24 23:28:22
129阅读
一、集群之间数据的拷贝1.scp实现两个远程主机之间的文件复制scp -r hello.txt root@bigdata111:/user/itstar/hello.txt // 推 push
scp -r root@bigdata112:/user/itstar/hello.txt hello.txt // 拉 pull
scp -r root@bigdata1
转载
2023-12-02 18:51:37
128阅读
# 远程连接 HBase 需要开通端口教程
## 引言
作为一名经验丰富的开发者，我们需要传授给刚入行的小白如何实现远程连接 HBase 需要开通端口的方法。本教程将以清晰的步骤和代码示例来帮助小白快速掌握这一技能。
## 整体流程
为了帮助小白更好地理解远程连接 HBase 需要开通端口的过程，我们可以用以下表格展示整个流程：
| 步骤 | 描述 |
|
原创
2024-03-11 03:45:20
95阅读
# 连接HBase需要开通的端口
## 整体流程
首先，我们需要了解连接HBase所需要的端口。一般情况下，HBase使用的端口有三个：Zookeeper端口、HMaster端口和RegionServer端口。接下来，我们将一步步教你如何连接HBase并开通这些端口。
### 连接HBase端口流程
| 步骤 | 操作 |
|------|---------------
原创
2024-03-25 06:10:11
94阅读
