大数据面试宝典的博客_Hadoop

hadoop配置HA详细教程

准备工作1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 /etc/hosts 4.关闭防火墙 5.ssh免登陆 6.安装JDK，配置环境变量等 7.注意集群时间要同步集群部署节点角色的规划（3节点）------------------server01 namenode resourcemanager zkfc nodemanager datanode

hadoop

hadoopHA

HA

大数据

zookeeper

原创 2022-02-16 16:30:20 237 阅读

Hadoop序列化与反序列化详解

1.什么是序列化?序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输反序列化就是将收到字节序列(或其他数据传输协议) 或者是磁盘的持久化数据,转换成内存中的对象2.为什么要序列化?一般来说,"活的"对象只能在内存中生存,关机断电就没有了,而且"活的"对象只能由本地的进程使用,不能被发送到网络上的另外一台计算机,然而序列化可以存储"活的"...

Hadoo

序列化

反序列化

大数据

hadoop

原创 2022-02-16 16:09:22 214 阅读

hadoop2.x的组成部分

1.HDFS管理者:NameNode负责管理管理集群内的各个节点负责管理整个文件系统的元数据(指的是数据的存放位置或是存放路劲)或名字空间辅助管理者:secondaryNameNode负责辅助管理NameNode的工作工作者:DataNode负责工作进行读写数据周期向NameNode汇报负责管理用户的文件数据块(一个大的数据拆分多个小的数据块)2.MapRedu...

hadoop

hadoop组成

数据

数据块

mapreduce

原创 2022-02-16 16:06:07 127 阅读

Hadoop(HDFS)常用命令

文章目录1.查看HDFS文件系统下所有的文件及目录2.从本地文件系统中复制单个或多个源路径到目标文件系统3.从本地文件系统中复制单个文件到目标文件系统4.从本地文件系统中复制单个文件到目标文件系统并将文件从本地删除5.将路径指定文件的内容输出到stdout(cat)6.将路径指定文件的内容输出到stdout(text)7.其余与Linux Shell命令大致一样1.查看HDFS文件系统下所有的文...

hadoop

hdfs

文件系统

本地文件

其他

原创 2022-02-16 16:03:04 485 阅读

hadoop(HDFS)安装教程--简单易懂

文章目录1.准备工作2.开始安装获取hadoop安装包官方文档修改环境变量修改配置文件3.格式化HDFS4.开启HDFS关闭防火墙并永久关闭(关闭开机自启)1.准备工作创建一个LInux虚拟机并安装CentOS6.9的镜像配置网卡信息安装JDK1.8在/root目录下创建两个文件夹software --> hadoop安装包上传位置app --> ha...

hadoop

hdfs

安装hdfs

h5

其他

原创 2022-02-16 16:03:03 732 阅读

hadoop的集群部署--超级详细

文章目录1.获取安装包2.创建两个文件夹,上传解压3.查看Hadoop支持的压缩方式以及本地库3.修改环境变量3.修改配置文件准备工作3.1 修改core-site.xml3.2 修改hdfs-site.xml5.开启前的操作6.开启1.获取安装包下载编译好的安装包链接：https://pan.baidu.com/s/1jsDuIBX2ZA8FARTTlS-0Lw 提取码：9e1v 或...

hdfs

hadoop

hadoop集群

h5

xml

原创 2022-02-16 16:03:02 165 阅读

Hadoop集群验证的三种方式

1.使用 linux的 jps 命令如果出现以下进程则是成功2.在NameNode所在的节点的ip+50070端口查看HDFS的web界面是否可用3.在HDFS系统中创建一个文件夹或文件,若能创建表示集群可以hadoop fs -mkdir /csdnhadoop fs -ls /...

hadoop

hadoop集群

hdfs

web界面

原创 2022-02-16 16:00:18 153 阅读

Hadoop(HDFS)常用命令

文章目录1.查看HDFS文件系统下所有的文件及目录2.从本地文件系统中复制单个或多个源路径到目标文件系统3.从本地文件系统中复制单个文件到目标文件系统4.从本地文件系统中复制单个文件到目标文件系统并将文件从本地删除5.将路径指定文件的内容输出到stdout(cat)6.将路径指定文件的内容输出到stdout(text)7.其余与Linux Shell命令大致一样1.查看HDFS文件系统下所有的文...

hadoop

hdfs

文件系统

本地文件

mysql

原创 2021-12-29 15:33:28 712 阅读

hadoop的集群部署--超级详细

文章目录1.获取安装包2.创建两个文件夹,上传解压3.查看Hadoop支持的压缩方式以及本地库3.修改环境变量3.修改配置文件准备工作3.1 修改core-site.xml3.2 修改hdfs-site.xml5.开启前的操作6.开启1.获取安装包下载编译好的安装包链接：https://pan.baidu.com/s/1jsDuIBX2ZA8FARTTlS-0Lw 提取码：9e1v 或...

hdfs

hadoop

hadoop集群

h5

xml

原创 2021-12-29 15:33:28 114 阅读

Hadoop集群验证的三种方式

1.使用 linux的 jps 命令如果出现以下进程则是成功 2.在NameNode所在的节点的ip+50070端口查看HDFS的web界面是否可用 3.在HDFS系统中创建一个文件夹或文件,若能创建表示集群可以hadoop fs -mkdir /csdnhadoop fs -ls /

hadoop

hadoop集群

hdfs

linux

原创 2021-12-29 15:27:41 339 阅读

hadoop2.x的组成部分

1.HDFS管理者:NameNode负责管理管理集群内的各个节点负责管理整个文件系统的元数据(指的是数据的存放位置或是存放路劲)或名字空间辅助管理者:secondaryNameNode负责辅助管理NameNode的工作工作者:DataNode负责工作进行读写数据周期向NameNode汇报负责管理用户的文件数据块(一个大的数据拆分多个小的数据块)2.MapRedu...

hadoop

hadoop组成

数据

数据块

mapreduce

原创 2021-12-29 15:22:06 66 阅读

Hadoop序列化与反序列化详解

1.什么是序列化?序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输反序列化就是将收到字节序列(或其他数据传输协议) 或者是磁盘的持久化数据,转换成内存中的对象2.为什么要序列化?一般来说,"活的"对象只能在内存中生存,关机断电就没有了,而且"活的"对象只能由本地的进程使用,不能被发送到网络上的另外一台计算机,然而序列化可以存储"活的"...

Hadoo

序列化

反序列化

大数据

hadoop

原创 2021-12-29 14:54:32 274 阅读

hadoop配置HA详细教程

准备工作1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 /etc/hosts4.关闭防火墙5.ssh免登陆6.安装JDK，配置环境变量等7.注意集群时间要同步集群部署节点角色的规划（3节点）------------------server01 namenode resourcemanager zkfc nodemanager datanod...

hadoop

hadoopHA

HA

大数据

zookeeper

原创 2021-12-28 18:14:22 195 阅读

hadoop(HDFS)安装教程--简单易懂

文章目录1.准备工作2.开始安装获取hadoop安装包官方文档修改环境变量修改配置文件3.格式化HDFS4.开启HDFS关闭防火墙并永久关闭(关闭开机自启) 1.准备工作创建一个LInux虚拟机并安装CentOS6.9的镜像配置网卡信息安装JDK1.8在/root目录下创建两个文件夹software --> hado

hadoop

hdfs

安装hdfs

h5

原创 2021-12-23 15:33:30 2243 阅读 1收藏

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

大数据面试宝典