隔壁小白的博客_Hadoop

十三、hadoop常用服务端口

一、hdfs服务端口端口作用9000fs.defaultFS，如：hdfs://172.25.40.171:90009001dfs.namenode.rpc-address，DataNode会连接这个端口50070dfs.namenode.http-address监控状态http页面端口50470dfs.namenode.https-address50100dfs.namenode.backup.

hadoop服务端口

原创 2019-10-29 12:05:28 2127 阅读

十二、hadoop的序列化

一、序列化基本概述1、何为序列化序列化就是将内存中的对象，转换成字节序列（或者按照其他数据传输协议转换），以便于持久化存储到磁盘中以及网络传输2、为什么需要序列化一般情况下，对象只存储在本地的内存中，只允许本地的进程调用。而随着分布式程序的出现，需要在不同的主机上不同进程调用对象，这就需要将对象通过网络传输到另外的主机上。但是对象不经过处理无法通过网络传输，而通过序列化处理之后，对象可以通过网络传

hadoop序列化

原创 2019-10-29 12:00:03 706 阅读

十一、hdfs的datanode工作机制

一、datanode工作机制1、基本流程1）datanode启动后会根据配置文件中指定的namenode地址，向namenode进行注册。 2）namenode返回注册成功 3）此后，datanode会周期性向namenode上报所有块信息，默认是1小时 4）同时，datanode会每3秒给namenode发送心跳信息，namenode返回的心跳结果带有namenode给该datanode的命令，

datanode

原创 2019-10-16 22:57:54 1633 阅读

十、HDFS的namenode工作机制

[TOC]一、fsimage和edits文件1、基本概念txid：namenode对每个操作事件（增删改操作）都给了一个唯一的id标识，称为txid，一般是从0开始自增，每多一个操作，txid就自增1。fsimage：是namenode在内存中的元数据在本地磁盘的一个镜像文件，但是通常情况fsimage并没有包含自新的操作事件，所以本质上和内存中元数据还是有差距的。这里记录的不是操作日志，其中包含

namenode工作机制

原创 2019-10-16 22:41:08 2362 阅读 1收藏

九、HDFS安全模式，快照，回收站，配额管理的用法

一、安全模式hdfs最开始开始开启集群的时候，会处于安全模式下，此时内部正检查集群中的副本率是否满足配置文件中所配置的副本率1、如果不满足就需通过节点间的复制满足副本率后才会退出安全模式。2、如果大于所配置的副本率，就会通过删除多于副本来降低副本率检查安全模式的情况：hdfsdfsadmin-safemodeget|enter|leave|wait注意：处于安全模式下时，无法对hdfs中的文件进行

HDFS安全模式快照回收站配额管理

原创 2019-10-16 12:12:05 683 阅读

八、HDFS的一致性flush

一、背景hdfs在写入的过程中，只有完全写入整个文件的内容之后，对其他client才会可见，否则在写入的过程中是不可见。如果想要立即可见，就需要一致性flush的操作。二、一致性flush代码例子：@TestpublicvoidwriteFile()throwsException{//1创建配置信息对象Configurationconfiguration=newConfiguration();fs

HDFS一致性flush

原创 2019-10-16 12:09:50 1174 阅读

七、HDFS上传和下载原理（有源码解析）

[TOC]一、HDFS文件上传基本原理1、基本流程1）客户端通过本地通过RPC与namenode建立rpc通信，然后请求上传文件2）namenode收到请求后，会检查是否能创建该文件（比如校验用户是否有该权限，文件是否已经存在等）。如果检查通过，namenode就会开始记录该新文件的元信息（先写入到edits文件，然后更新内存中的metadata），并响应client可以开始上传。3）client

HDFS上传和下载原理

原创 2019-10-16 12:07:56 1640 阅读

六、RPC基本原理

[TOC]一、RPC基本概念1、RPC是什么所谓的RPC其实是为了不同主机的两个进程间通信而产生的，通常不同的主机之间的进程通信，那么程序编写则需要考虑到网络通信的功能，这样程序的编写将会变得复杂。而RPC就是报文交换的一种机制，一台主机上的进程对另外一台主机的进程发起请求时，内核会将请求转交给RPCclient，RPCclient经过报文的封装转交给目标主机的RPCserver，RPCserv

RPC基本原理

原创 2019-10-16 12:06:31 1671 阅读

五、通过API操作hdfs

一、基本api操作1、获取HDFS对象的两种方式：方式1：publicstaticFileSysteminitFileSystem1()throwsIOException{//获取配置对象Configurationconf=newConfiguration();//指定namenode地址conf.set("fs.defaultFS","hdfs://bigdata121:9000");//获取h

api操作hdfs

原创 2019-10-14 18:38:03 549 阅读 1收藏

四、hdfs命令行操作

一、hdfs启动流程1、加载fsimage，即加载元数据2、加载edits文件，因为上面的fsimage并不一定包含最新的元数据3、保存检查点（checkpoint），主要为了snn后面合并edits到fsimage时使用4、进入安全模式，检查副本率是否满足冗余度的要求，或者是否完整，如果不满足就处于安全模式，无法写入。如果满足就退出安全模式。二、基本操作命令我们可以使用hdfsdfsxxx或者h

hdfs命令行

hadoop管理命令

原创 2019-10-14 12:16:42 829 阅读

三、hadoop用户认证--kerberos

一、HDFS权限问题：默认情况下，HDFS的权限认证是开启的，通过在hdfs-site.xml中设置dfs.permissions为true或者false来开启、关闭。所以当客户端进入hdfs的用户没有权限时，是无法对hdfs进行操作的。这时候可通过下面几种方式绕开认证。1、在java代码中设置hadoop用户为rootSystem.setProperty("HADOOP_USER_NAME","

hadoop

kerberos

原创 2019-10-14 12:11:08 3881 阅读

二、hdfs体系架构

[TOC]一、HDFS体系组成概述这是一个分布式文件系统，适用于于一次写入多次读取的场景。包含以下角色：NameNode(nn)：存储文件的元数据，如文件名、文件目录结构，文件属性等，以及每个文件的块列表和块所在的DataNode等。以及响应客户端对hdfs的读写操作,如创建目录、上传文件等。还有保存读写日志。DataNode(dn)：在本地文件系统中存储文件块数据，以及块数据的校验和Second

hdfs架构

原创 2019-10-14 10:40:45 610 阅读 1收藏

一、安装hadoop

一、安装前准备工作1、使用软件包情况软件包版本centos(redhat也是类似)7.2x64hadoop2.8.4VMwareworkstationspro12.0jdk1.82、系统环境准备（1）关闭防火墙以及selinux这个操作不是必须的，只是为了防止在一开始的过程中，因为防火墙的配置原因以及selinux的限制导致一些不必要的困难而已。首先关闭防火墙：//关闭防火墙并禁止开机自启动sys

hadoop安装

原创 2019-10-12 12:35:46 338 阅读 1收藏

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

KingLab