完整搭建步骤参考大神链接：以下是我自己的总结的注意事项：1.如果集群的防火墙是开着的一定要将master节点的端口8031和9000和50070端口开放出来，前两个是集群需要的后面一个是访问Hadoop页面需要的firewall-cmd --zone=public --add-port=50070/tcp --permanent
firewall-cmd --zone=public --add-
转载
2024-03-25 13:43:13
91阅读
漏洞名称Apache Zookeeper 未授权访问漏洞【原理扫描】风险等级高高可利用否CVE编号-端口(服务)2181(zookeeper)风险描述ZooKeeper是一个高性能的分布式数据一致性解决方案，它将复杂的，容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并提供一系列简单易用的接口给客户使用。ZooKeeper默认开启在2181端口，在未进行任何访问控制情况下，攻击者可通
转载
2024-02-23 23:56:10
445阅读
Hbase的访问方式包括： Ø Native Java API：最常规和高效的访问方式； Ø HBase Shell：HBase的命令行工具，最简单的接口，适合HBase管理使用； Ø Thrift Gateway：利用Thrift序列化技术，支持C++，PHP，Python等多种语言，适合其他异构系统在线访问HBase表数据； Ø REST Gateway：支持REST
转载
2023-06-27 21:43:59
198阅读
# 如何实现"hbase 2181端口"
## 流程
```mermaid
journey
title HBase 2181端口实现流程
section 整体流程
开发者 -> 小白: 指导如何实现"hbase 2181端口"
小白 -> 开发者: 提问
开发者 -> 小白: 解答
section 结束
```
## 步
原创
2024-03-15 03:54:18
76阅读
Zookeeper领导者选举源码解析ZooKeeper服务器角色ZooKeeper集群是一个基于主从复制的高可用集群，每个服务器承担如下三种角色中的一种：Leader，一个ZooKeeper集群同一时间只会有一个实际工作的Leader，它会发起并维护与各Follwer及Observer间的心跳。所有的写操作必须要通过Leader完成再由Leader将写操作广播给其它服务器。Follower，一个Z
Docker除了通过网络访问外，还提供了两个很方便的功能来满足服务访问的基本需求： 允许映射容器内应用的服务端口到本地宿主主机；1.从外部访问容器应用从外部访问容器应用在启动容器的时候，如果不指定对应参数，在容器外部是无法通过网络来访问容器内的网络应用和服务的。当容器中运行一些网络应用，要让外部访问这些应用时，可以通过-P或-p参数来指定端口映射。当使用-P(大写的)标记时，Dock
转载
2023-06-16 13:17:50
170阅读
# HBase修改2181端口的实现流程
开发环境：假设我们已经搭建好了HBase的开发环境，并且了解HBase的基本操作和命令。
## 1. 确认HBase的配置文件位置
首先，我们需要确认HBase的配置文件`hbase-site.xml`的位置。通常情况下，HBase的配置文件位于`/etc/hbase/`目录下。如果你的HBase配置文件不在该目录下，请根据实际情况进行修改。
##
原创
2023-10-24 10:33:38
86阅读
# Docker 2181端口号
## 1. 简介
Docker是一种开源的容器化平台，可以帮助开发者简化应用程序的部署和管理过程。2181端口号是Zookeeper的默认端口号，Zookeeper是一种分布式协调服务，被广泛用于构建分布式系统和应用程序。在Docker中，我们可以使用2181端口号来访问Zookeeper服务。
## 2. Docker中使用2181端口号
要在Docke
原创
2023-11-01 16:40:14
315阅读
分布式编程中可能会有一部分失效，zookeeper就是为了解决这种问题的，其特点
1.简单(一个精简的文件系统)
2.富有表现力(可用于实现分布式队列，分布式锁，分布式选举)
3.具有高可用性
4.采用松散耦合交互方式
5.是一个资源库
zookeeper中没有文件和目录，而是统一使用"节点"的概念，成为znode
HBase 默认配置该文档是用hbase默认配置文件生成的，文件源是hbase-default.xml(因翻译需要，被译者修改成中文注释).
hbase.rootdir 这 个目录是region server的共享目录，用来持久化Hbase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的'/hbase'目录，namenode 运
转载
2024-09-04 13:30:58
88阅读
环境：jdk 1.8 + hadoop2.7.6+zookeeper3.4.9+centos7一.安装zookeeper（集群模式）0.安装机器ip hostname192.168.100.9
每个 S7-200 SMART CPU 都提供一个以太网端口和一个 RS485 端口(端口0)，标准型 CPU 额外支持 SB CM01 信号板(端口1)，信号板可通过 STEP 7-Micro/WIN SMART 软件组态为 RS232 通信端口或 RS485 通信端口。CPU 通信端口引脚分配1.S7-200 SMART CPU 集成的 RS485 通信端口(端口0)是与 RS485 兼容的9
转载
2024-07-29 10:47:15
28阅读
前言hive经常用于数仓，但是由于他的计算引擎（默认是MR）不支持DAG(Directed Acyclic Graph)DAG解释，所以导致效率低下，所以一般生产中用集成Tez详细配置解析，笔者就在这里简单的记录下配置。 这里提供一个hive基础详解点这里！！！基础详解解压安装将apache-tez-0.9.1-bin.tar.gz上传到HDFS的/tez目录下。这一步是因为tez是在yarn上运
转载
2024-08-06 23:02:12
118阅读
文章目录概述1. 建入口类断点调试2. 读操作分析1. 客户端打开文件流1. DistributedFileSystem.open2. DFSClient.open得到DFSInputStream3. DFSInputStream构造器 4. DFSInputStream.openInfo()5. DFSInputStream.fetchLocatedBlocksAndGetLastBlockLe
转载
2024-03-24 13:15:49
71阅读
启动zookeeper，能ping通虚拟机，但telnet ip+端口发现连接超时或拒绝 排查思路 首先查看IP是否一样zookeeper是否启动成功 bin/zkServer.sh status或者ss -ntl | grep 2181或者netstat -anpt | grep 2181查看Li
原创
2021-07-12 17:34:50
2258阅读
Hadoop提供了一个被称为HDFS的分布式文件系统的实现。HDFS是Hadoop系统的基础层，主要负责数据的存储、管理和容错处理，设计思想来源于Google的GFS（Google File System）文件系统。HDFS是一个运行在普通的硬件之上的分布式文件系统，它和现有的分布式文件系统有着很多的相似性，然而和其他分布式文件系统的区别也很
转载
2024-03-31 15:11:16
41阅读
作者：livan 前面我们用几篇文章的时间整理了一下小数据集的情况下数据分析的常用工具，主要是为了梳理分析过程中的主线条，但是，随着数据的增加，pandas这样的数据结构只会越来越慢，取而代之的是hadoop和spark这种大数据环境下的分析工具，接下来几篇我们会从大数据的角度，分析pyspark、SQL的常用技巧和优化方法，本文的重点是讲解HDFS的
转载
2024-05-09 20:28:57
43阅读
1. 基本概念1.1 NameNodeHDFS采用Master/Slave架构。NameNode就是HDFS的Master架构。HDFS系统包括一个NameNode组件，主要负责HDFS文件系统的管理工作，具体包括名称空间（namespace）管理，文件Block管理。NameNode提供的是始终被动接收服务的server，主要有三类协议接口：ClientProtocol接口，提供给客户端，用于访
转载
2024-10-13 19:29:24
23阅读
完全分布式的安装1、集群规划
组件 PC1 PC2 PC3
HDFS Namenode SecondaryNamenode
D
官方文档链接：http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/FileSystemShell.html#test简而言之就是看不见的)的。Shell 接口 HDFS 处理文件的命令和 Linux 命令基本相同，这
转载
2024-09-24 06:54:07
85阅读
