ls命令 格式： hdfs dfs -ls 文件路径 作用：显示文件列表 例如：hdfs dfs -ls /lsr命令 格式：hdfs dfs -lsr URI 作用：在整个目录下递归执行ls, 与linux中ls -R类似 例如：hdfs dfs -lsr / (ps：使用此命令会提示，此有一个提示更换命令，是因为该命令已过时，可使用 -ls -R替换-lsr)mkdir命令 格式：hdfs d
转载
2024-03-15 08:44:19
153阅读
HDFS Federation是Hadoop-0.23.0中为解决HDFS单点故障而提出的namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。本篇文章主要介绍了HDFS Federation的设计动机和基本原理。1. 当前HDFS概况1.1 当前HDFS架构 当前HDFS包含两层结构： (1) Namespace 管理目
转载
2024-03-25 22:33:58
69阅读
一、Hadoop简介 Hadoop最早起源于Nutch。Nutch是一个开源的网络搜索引擎，由Doug Cutting于2002年创建。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引，查询等功能，随着网页抓取数量的增加，遇到严重的可扩展问题，即不能解决数十亿网页的存储和索引的问题，之后，Google发布的两篇论文(The Google File System和MapReduc
转载
2024-05-14 12:04:42
33阅读
在大数下，Hadoop中的HDFS存储应用广范，为了写此篇文章，重新搭建了一回环境，带有命令及截图，有助于大家更好的参考，后面我会分享结合HDFS的基础上搭建HBase。有些同学可能还不知HDFS是什么，我先引用百科的描述介绍： Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同
转载
2024-06-11 11:12:09
0阅读
一、FastDFS是什么？ FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性
转载
2024-05-17 13:33:02
153阅读
背景在Hadoop 2.0.0之前，NameNode是HDFS集群中的单点故障（SPOF）。每个群集都有一个NameNode，如果该机器或进程不可用，整个群集将不可用，直到NameNode重新启动或在单独的计算机上启动为止。HDFS高可用性功能通过提供在具有热备份的主动/被动配置中在同一集群中运行两个冗余NameNode的选项来解决上述问题。这允许在计算机崩溃的情况下快速故障转移到新的NameNo
转载
2024-04-19 17:56:08
56阅读
CephFS简介官方文档：https://docs.ceph.com/en/quincy/cephfsCephFS即ceph filesystem，可以实现文件系统共享功能（POSIX标准），客户端通过ceph协议挂载并使用CephFS存储数据。CephFs需要用到MDS（metadata-service）服务，其守护进程为ceph-mds，ceph-mds进程管理CephFS上存储的文件相关的元
目录前言：1、HDFS基本概念2、HDFS基本操作总结： 目录前言：总算有空来接着写大数据的学习笔记了，今天就把之前学过的HDFS的基础知识详细的介绍一下，如有哪点写的不足希望大家多多指教。1、HDFS基本概念1.1、前言： 设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。 在大数据系统中作用： 为各类分布式运算框架（如：m
转载
2023-12-01 23:32:42
155阅读
JN回滚大量edit日志导致Namenode主备切换的故障记录前言正文问题排查调度服务状态HDFS服务状态问题分析NameNode日志JN服务器主机指标JN日志故障恢复结语过程复盘思考前言集群大了，这莫名其妙的问题就多了起来；今天上午还在地铁上的时候，就接到电话说集群出问题了，电话里描述的现象就是集群任务运行出了问题，让我看看调度服务是不是异常了：看监控图表发现在8点40-50之间存在明显的任务空
转载
2024-06-20 18:23:26
65阅读
Ceph，即分布式文件系统，是一种为优秀的性能、可靠性和可扩展性而设计的同一的、分布式文件系统。简单的定义为3项：1，可轻松扩展到数PB级容量；2，支持多种工作负载的高性能（每秒输入、输出操作[IOPS]和带宽）；3，高可用性。看到开篇的介绍你是不是觉得我很懂并有一种能从此博文中学到一些知识的错觉？然而真相从不如人意，这些都是我百度的哈哈哈。实际上，作为一位刚参加工作不久的小白来说，我连最基本的存
摘要：
Ceph 作为软件定义存储的代表之一，最近几年其发展势头很猛，也出现了不少公司在测试和生产系统中使用 Ceph 的案例，尽管与此同时许多人
Ceph 作为软件定义存储的代表之一，最近几年其发展势头很猛，也出现了不少公司在测试和生产系统中使用 Ceph 的案例，尽管与此同时许多人对它的抱怨也一直存在。本文试着整理作者了解到的一些使用案例。 1. 携程（Ctrip） 携程所使
http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html 通讯协议 所有的HDFS通讯协议都是建立在TCP/IP协议之上。客户端通过一个可配置的TCP端口连接到Namenode，通过ClientProtocol协议与Namenode交互。而Da
转载
2017-11-20 18:55:00
485阅读
2评论
Hadoop 2.2中正式启用了hdfs nfs功能，使得hdfs的通用性迈进了一大步。在公司让小朋友搭建了一下，然后我自己进行了一点简单的试验，有一点收获，记录在此。理论 使用hdfs nfs功能的话，数据访问路径如上图：用户或程序通过Linux自带的nfs client访问hdfs nfs服务，然后再由nfs网关作为hdfs的客户端访问hdfs。这张图中，中间
ClientDataNodeProtocol定义了Client与DataNode之间的接口，具体的方法如下图所示
1. ClientDataNodeProtocol方法.png
ClientDataNodeProtocol定义的接口可以分为两部分，一部分是支持HDFS文件读取操作的，例如getReplicaVisibleLength()以及getBlockLocal
转载
2024-04-18 22:44:06
67阅读
Apache Durid （HDFS 集群部署）Apache Durid （HDFS 集群部署）1. 分布式文件HDFS1.1 HDFS简介1.1.1 HDFS发展历史1.1.2 HDFS设计目标1.2 HDFS应用场景1.2.1 适合的应用场景1.2.2 不适合的应用场景2. HDFS架构原理2.1 HDFS架构剖析2.1.1 HDFS整体概述2.2.2 角色介绍2.2.2.1 概述2.2.2
在《HDFS源码分析之DataXceiverServer》一文中，我们了解到在DataNode中，有一个后台工作的线程DataXceiverServer。它被用于接收来自客户端或其他数据节点的数据读写请求，为每个数据读写请求创建一个单独的线程去处理。而处理每次读写请求时所创建的线程，就是本文要讲的DataXceiver。本文，我们来
什么是FTP?它是linux对linux的，服务端是搭在linux上的，而真正服务的对象可以是，Windows，也可以是linux，一般都是用linux去做的。FTP的两种工作模式 主动模式 被动模式 一个是做数据连接的，一个是做数据传输的，两个端口 20 21服务端 服务名称vsftpd linux客户端 必须安装
Tgtd+Ceph部署一、yum安装tgt[root@c720181 ~]# yum --enablerepo=epel -y install scsi-target-utils libxslt（1）安装 scsi-target-utils安装 scsi-target-utils# yum --enablerepo=epel -y install scsi-target-utils libxslt
转载
2024-04-29 09:17:20
48阅读
集群简单维护查看日志上篇我们搭建了集群，并且完成了hdfs的搭建，但在我的linux02和linux03上，发现一个问题，我启动了datanode之后，开始进程还在，一会就自己消失了，这是为什么呢？（如下图）查看页面显示，也只有一个datanode节点（linux01）上的。 为了查看哪里出现了问题，我们可以查看一下机器上datanode的启动日志，日志的位置在hadoop下的logs里
转载
2024-08-02 11:01:05
86阅读
AWSS3技术点分析一、S3的特点：l 面向Internet的对象存储对象通俗来讲就是一个完整文件，没有进行追加写入的、可断电保存在物理介质（硬盘或其他磁盘）中的文件。l 一个对象的大小可以高达5TBl 每个对象存储在存储桶中，通过开发人员分配的唯一密钥进行检索l 弹性存储，无限存储空间、无限对象l 原生在线HTTP/HTTPS访问l&n
转载
2024-06-07 22:51:24
171阅读
