Hadoop1. Hadoop 介绍The Apache Hadoop project develops open-source software for reliable, scalable,
distributed computing.
The Apache Hadoop software library is a framework that allows for the distribu
转载
2024-08-08 11:45:00
73阅读
启动HDFS后，输入hadoop fs命令，即可显示HDFS常用命令的用法[hadoop@localhost hadoop-2.5.2]$ hadoop fs
Usage: hadoop fs [generic options]
[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src&
转载
2024-02-12 21:26:00
75阅读
在前面的博文中我主要从客户端的角度讲述了HDFS文件写操作的工作流程，但是关于客户端是如何把数据块传送到数据节点，同时数据节点又是如何来接受来自客户端的数据块呢？这就是本文将要讨论的。核心类是DFSOutputStream，它的内部主要有数据包发送器DataStream、数据包确认处理器ResponseProcessor和数据包封装器Packet，其整体设计架
转载
2024-03-24 10:52:38
31阅读
正则表达式（Regular Expression，通常简称为 regex 或 RE）是一种表达方式，可以用它来查找匹配特定准则的文本。在许多编程语言中都有用到正则表达式，常用它来实现一些复杂的匹配。这里简单介绍一下 shell 中常用到的一些正则表达式。一、什么是正则表达式 正则表达式是对字符串进行操作的一种逻辑公式，即用事先定义好的的一些特定字符以及这些特定字符的组合，组成一个有一定规则的
转载
2024-04-11 19:59:23
38阅读
路径变量中使用正则表达式匹配 SpringMVC的处理器映射的请求路径中是可以包含路径变量的，语法是{pathVar}，如下面的请求路径映射中就定义了一个路径变量var，则在访问时该变量可以是任意的值，所以在请求时/pathvariable/a、pathvariable/bcd等形式的请求路径都可以映射到下面的处理器方法。@RequestMapping("/pathvariable/{var}")
一般情况下，我们使用Java访问hadoop distributed file system(hdfs)使用hadoop的相应api，添加以下的pom.xml依赖（这里以hadoop2.2.0版本为例）：
<dependency>
<groupId>org.apache.hadoop<
search方法
search 在一个字符串中搜索满足文本模式的字符串。语法格式如下：
re.search(pattern, string, flags=0)
函数参数与 match 方法类似，如下表所示：
search函数参数说明
参数
描述
pattern
匹配的正则表达式
string
要匹配的字符串
转载
2024-03-17 00:03:44
105阅读
正则表达式用来在文件中匹配符合条件的字符串 正则是包含匹配 grep awk sed等命令可以支持正则通配符用来匹配符合条件的文件名。通配符是完全匹配，ls find cp 命令不支持正则，只能shell通配符匹配 通配符- * 匹配任意多个字符
- ？ 匹配任意一个字符
- [] 匹配括号中任意一个字符
- () 在子shell中执行
- {} 集合 touch file{}
- \ 转义符
转载
2024-02-19 12:52:54
104阅读
Hash算法在应用中又称为指纹(fingerprint)或者摘要(digest)算法,是一种将任意长度的明文串映射为较短的数据串(hash值)的算法，目前的Hash算法主要是MD5系列算法与SHA系统算法正向快速 ，逆向困难，输入敏感 ，冲突避免给定明文和 Hash 算法，在有限时间和有限资源内能计算得到 Hash 值 定Hash 值，在有限时间内难以逆推出明文输入敏感：原始输入信息发生任何改
转载
2024-05-10 17:45:30
49阅读
防坑留言： 不但要能简单写出伪分布式，还要对其配置文件为什么这么写有一定理解才容易找出bug，分析原因，解决问题其实详细api官网是提供的，我这里简单介绍一下我用的HDFS结构NameNode:名字节点 1、 整个文件系统的管理节点。文件系统的文件目录树。
转载
2024-04-18 09:38:20
51阅读
分块：Block HDFS存储系统中，引入了文件系统的分块概念（block），块是存储的最小单位，HDFS定义其大小为64MB。与单磁盘文件系统相似，存储在 HDFS上的文件均存储为多个块，不同的是，如果某文件大小没有到达64MB，该文件也不会占据整个块空间。在分布式的HDFS集群上，Hadoop系统保证一个块存储在一个datanode上。 把File划分成Block，这个是物理上真真实实的进
转载
2024-05-02 22:41:42
54阅读
目录1 HDFS的概述1.1 HDFS的概念1.2 HDFS优缺点1.2.1 优点1.2.2 缺点1.3 HDFS的架构1.4 block文件块的大小2 HDFS的shell客户端操作3 HDFS的java客户端操作3.1 HDFS客户端操作4 HDFS的数据流4.1 HDFS写数据流程4.2 HDFS读数据流程5 NameNode和Second NameNode的工作机制5.
转载
2024-02-25 07:52:39
182阅读
Hadoop可以处理不同数据格式（数据源）的数据，从文本文件到（非）关系型数据库，这很大程度上得益于Hadoop InputFormat的可扩展性设计，InputFormat层次结构图如下： InputFormat（org.apache.hadoop.mapreduce.InputFormat）被设计为一个抽象类，代码如下： public abstract clas
转载
2024-04-08 11:42:42
33阅读
目录HDFS概述1.HDFS产出背景及定义2.HDFS优缺点HDFS优点HDFS缺点3. HDFS组成架构NameNode (nn)DataNodeClientSecondary NameNode4. HDFS文件块大小(面试) HDFS/Yarn/MapReduce概述==>HDFS概述1.HDFS产出背景及定义1). HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有数据的情
转载
2024-03-26 06:59:25
77阅读
四、hdfs的安全模式安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，当整个系统达到安全标准时，HDFS自动离开安全模式。如果HDFS出于安全模式下，则文件block不能进行任何的副本复制操作，因此达到最小
转载
2024-06-11 10:38:36
115阅读
DataXceiverServer是Hadoop分布式文件系统HDFS的从节点--数据节点DataNode上的一个后台工作线程，它类似于一个小型的服务器，被用来接收数据读写请求，并为每个请求创建一个工作线程以进行请求的响应。那么，有以下几个问题： 1、DataXceiverServer是什么？  
转载
2024-08-23 13:32:08
69阅读
#!/bin/bashexport JAVA_HOME=/data/jdk1.8.0_111export HADOOP_HOME=/data/hadoop-2.6.5export PATH=${JAVA_HOME}/bin:${HADO
原创
2022-10-28 11:59:43
156阅读
1. df的介绍和使用df 以磁盘分区为单位查看文件系统，可以获取硬盘被占用了多少空间，目前还剩下多少空间等信息。例如，我们使用df -h命令来查看磁盘信息， -h 选项为根据大小适当显示：1.1显示内容参数说明Filesystem：文件系统Size： 分区大小Used： 已使用容量Avail： 还可以使用的容量Use%： 已用百分比Mounted on： 挂载点1.2常用的一些命令使用df -h
转载
2024-03-26 08:24:46
72阅读
ls命令 格式： hdfs dfs -ls 文件路径 作用：显示文件列表 例如：hdfs dfs -ls /lsr命令 格式：hdfs dfs -lsr URI 作用：在整个目录下递归执行ls, 与linux中ls -R类似 例如：hdfs dfs -lsr / (ps：使用此命令会提示，此有一个提示更换命令，是因为该命令已过时，可使用 -ls -R替换-lsr)mkdir命令 格式：hdfs d
转载
2024-03-15 08:44:19
153阅读
1. HDFS Federation产生背景在Hadoop 1.0中，HDFS的单NameNode设计带来诸多问题，包括单点故障、内存受限制约集群扩展性和缺乏隔离机制（不同业务使用同一个NameNode导致业务相互影响）等，为了解决这些问题，Hadoop 2.0引入了基于共享存储的HA解决方案和HDFS Federation，本文重点介绍HDFS Federation。HDFS Fede
转载
2024-05-14 07:04:52
49阅读
