在windows电脑里面搭建的一个简单的HDFS(Hadoop 分布式文件系统)用了三个服务器：IP地址分别为：192.168.233.3 HDFS的名称节点：NameNode192.168.233.4 HDFS的数据节点:DataNode 和 HDFS的第二名称节点 SecondearyNameNode192.168.233.5 HDFS的数据节点:DataNode其中192.168.233.3
转载
2024-04-17 12:18:46
173阅读
Docker Hub 地址问题是一个在使用 Docker 过程中经常遇到的挑战。Docker Hub 是 Docker 官方的镜像存储库，许多开发者和运维人员依赖于它来拉取和管理容器镜像。然而，在不同的网络环境中，访问 Docker Hub 的地址可能会出现问题，从而影响开发和部署的效率。因此，本篇文章将详细记录解决 Docker Hub 地址问题的过程。
## 背景定位
在许多企业和项目中，
import java.util.Arrays;
Number[] arr = { 1, 2, 3 };
System.out.println(Arrays.toString(arr));
转载
2023-06-01 23:39:24
70阅读
配置同时使用 Gitlab、Github、Gitee(码云) 共存的开发环境 首先确认已安装Git，可以通过 git –version 命令可以查看当前安装的版本。Mac OSX 中都已经安装了Git。但是，Git的版本未必是最新的。可以通过命令 git clone https://github.com/git/git 进行更新Git共有三个级别的config文件，分别是system、g
文章目录一、简单方式二、持久化方式1、建表sql2、容器启动3、访问nacos 一、简单方式docker run -d -p 8848:8848 --name nacos nacos/nacos-server:2.0.3这种就可以用了，但修改配置文件时灵活性不太好，想要修改方便，可以参考下面第二种。二、持久化方式1、建表sql/*
* Copyright 1999-2018 Alibaba
转载
2024-01-03 12:57:25
27阅读
#!/bin/bashexport JAVA_HOME=/data/jdk1.8.0_111export HADOOP_HOME=/data/hadoop-2.6.5export PATH=${JAVA_HOME}/bin:${HADO
原创
2022-10-28 11:59:43
156阅读
1. df的介绍和使用df 以磁盘分区为单位查看文件系统，可以获取硬盘被占用了多少空间，目前还剩下多少空间等信息。例如，我们使用df -h命令来查看磁盘信息， -h 选项为根据大小适当显示：1.1显示内容参数说明Filesystem：文件系统Size： 分区大小Used： 已使用容量Avail： 还可以使用的容量Use%： 已用百分比Mounted on： 挂载点1.2常用的一些命令使用df -h
转载
2024-03-26 08:24:46
72阅读
1. 问题描述：2. 问题分析：云主机连接不上本地IP解析错误云主机工作处于安全模式3. 解决方式：更改云主机名更改本地 hosts 文件使用 linux 命令强制退出安全模式Step 1) 下载 HDFS Explorer 软件安装包：百度云连接：https://pan.baidu.com/s/1tlJWHusCdeGRlhQsFrmMpA（提取码：f3ql）Step 2) 下载后，双击 HDF
转载
2024-03-22 09:38:47
231阅读
hadoop的两大核心之一 海量数据的存储(HDFS)什么是HDFS? hadoop distributed file system(hadoop分布式文件系统) 是一种允许文件通过网络在多台主机上分享的文件系统, 可让多机器上的多用户分享文件和存储空间. 特点: 1.通透性.让实际上是通过网络来访问
转载
2024-03-11 13:19:27
69阅读
ls命令 格式： hdfs dfs -ls 文件路径 作用：显示文件列表 例如：hdfs dfs -ls /lsr命令 格式：hdfs dfs -lsr URI 作用：在整个目录下递归执行ls, 与linux中ls -R类似 例如：hdfs dfs -lsr / (ps：使用此命令会提示，此有一个提示更换命令，是因为该命令已过时，可使用 -ls -R替换-lsr)mkdir命令 格式：hdfs d
转载
2024-03-15 08:44:19
153阅读
1. HDFS Federation产生背景在Hadoop 1.0中，HDFS的单NameNode设计带来诸多问题，包括单点故障、内存受限制约集群扩展性和缺乏隔离机制（不同业务使用同一个NameNode导致业务相互影响）等，为了解决这些问题，Hadoop 2.0引入了基于共享存储的HA解决方案和HDFS Federation，本文重点介绍HDFS Federation。HDFS Fede
转载
2024-05-14 07:04:52
49阅读
目录：HDFS简介HDFS架构说明HDFS读文件流程HDFS写文件流程HDFS 可靠性HDFS shellIDEA 开发工具使用Java 操作HDFS全分布式集群搭建一.简介HDFS（Hadoop Distributed File System，分布式文件系统）基于Ggoogel发布的GFS论文设计开发，其除具备其他分布式文件系统相同特性外，还有自己的特性：高容错：认为硬件总是不可靠的，有副本的存
转载
2024-04-29 21:47:24
55阅读
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览在HDFS中，有三种Recovery 1.Lease Recovery 2.Block Recovery 3.PipeLine Recovery以下将 一 一 讲解。一.Lease Recovery首先很有比要介绍一下Lease(租约)租约保证HDFS的一读多写机
转载
2024-04-26 11:51:12
115阅读
一、导入新课带领学生回顾项目三Hadoop集群相关的知识，由于Hadoop的核心是HDFS和MapReduce。其中，HDFS是解决海量大数据文件存储的问题，是目前应用最广泛的分布式文件系统。因此，本次课将针对HDFS分布式文件系统进行详细讲解 二、新课讲解（一）HFDS的演变HDFS 源于 Google 在2003年10月份发表的GFS（Google File System）论文，接下
转载
2024-02-18 15:59:26
71阅读
分块：Block HDFS存储系统中，引入了文件系统的分块概念（block），块是存储的最小单位，HDFS定义其大小为64MB。与单磁盘文件系统相似，存储在 HDFS上的文件均存储为多个块，不同的是，如果某文件大小没有到达64MB，该文件也不会占据整个块空间。在分布式的HDFS集群上，Hadoop系统保证一个块存储在一个datanode上。 把File划分成Block，这个是物理上真真实实的进
转载
2024-05-02 22:41:42
54阅读
防坑留言： 不但要能简单写出伪分布式，还要对其配置文件为什么这么写有一定理解才容易找出bug，分析原因，解决问题其实详细api官网是提供的，我这里简单介绍一下我用的HDFS结构NameNode:名字节点 1、 整个文件系统的管理节点。文件系统的文件目录树。
转载
2024-04-18 09:38:20
51阅读
DataXceiverServer是Hadoop分布式文件系统HDFS的从节点--数据节点DataNode上的一个后台工作线程，它类似于一个小型的服务器，被用来接收数据读写请求，并为每个请求创建一个工作线程以进行请求的响应。那么，有以下几个问题： 1、DataXceiverServer是什么？  
转载
2024-08-23 13:32:08
69阅读
目录HDFS概述1.HDFS产出背景及定义2.HDFS优缺点HDFS优点HDFS缺点3. HDFS组成架构NameNode (nn)DataNodeClientSecondary NameNode4. HDFS文件块大小(面试) HDFS/Yarn/MapReduce概述==>HDFS概述1.HDFS产出背景及定义1). HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有数据的情
转载
2024-03-26 06:59:25
77阅读
Hadoop可以处理不同数据格式（数据源）的数据，从文本文件到（非）关系型数据库，这很大程度上得益于Hadoop InputFormat的可扩展性设计，InputFormat层次结构图如下： InputFormat（org.apache.hadoop.mapreduce.InputFormat）被设计为一个抽象类，代码如下： public abstract clas
转载
2024-04-08 11:42:42
33阅读
目录1 HDFS的概述1.1 HDFS的概念1.2 HDFS优缺点1.2.1 优点1.2.2 缺点1.3 HDFS的架构1.4 block文件块的大小2 HDFS的shell客户端操作3 HDFS的java客户端操作3.1 HDFS客户端操作4 HDFS的数据流4.1 HDFS写数据流程4.2 HDFS读数据流程5 NameNode和Second NameNode的工作机制5.
转载
2024-02-25 07:52:39
182阅读
