这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用M
转载
2023-07-25 21:00:46
47阅读
搭建Hadoop2.0（二）hadoop环境配置 搭建Hadoop2.0（一）系统环境基本配置1. 安装ubuntu10.04 为了和合作公司的产品匹配，选择了ubuntu10.04操作系统。安装方法如下： （1）安装vmware8.0. （2） 新建一个虚拟机，选择“I will install the operation system later”。在Setting中
转载
2023-08-12 19:39:09
88阅读
hdfs snapshot 快照的应用与操作命令的介绍一：HDFSSnapShot的介绍Hadoop从2.1.0版开始提供了HDFS SnapShot的功能。 一个snapshot(快照)是一个全部文件系统、或者某个目录在某一时刻的镜像。快照在下面场景下是非常有用：二：场景防止用户的错误操作： 管理员可以通过以滚动的方式周期性设置一个只读的快照，这样就可以在文件系统上有若干份只读快照。如果用户意外
Hdfs dfs -appendToFile：把本地文件中的内容追加到HDFS中指定文件的末尾Hdfs dfs -cat ：用于查看分布式文件系统中指定文件里面的内容； 两个命令在一个截图中Hdfs dfs -checksum：用来查看指定文件的MD5值Hdfs dfs -charp：对分布式文件系统中的文件进行授权给指定用户Hdfs dfs -chmod --
转载
2023-10-08 20:59:08
66阅读
一.创建EC2实例 1.从AWS平台创建3台Amazon EC2的实例，在本次实验中使用的AMI镜像为Amazon Ubuntu 18.04版本。为了保证空间足够，使用了16GB的SSD空间。三台实例分别命名为master slave01 slave02二.安装并配置并配置java环境 2.1 使用Xshell远程登录三个实例为了方便使用，创建hadoop用户 并给予管理员权限使用命令如下： $
转载
2023-10-18 14:04:46
153阅读
文章目录一、DataNode工作机制二、数据完整性三、掉线时限参数设置四、服役新数据节点五、退役旧数据节点（一）设置退役白名单（二）设置退役黑名单六、DataNode多目录配置（同NameNode配置） 一、DataNode工作机制一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳
DataNode启动后向
全局统筹前言安装前的检查开始安装虚拟机Linux的网络配置步骤虚拟机内部设置进入虚拟机安装其他东西克隆虚拟机开始搭建分布式集群集群配置启动集群jps查看进程常见问题 前言这里的笔记仅供参考使用，你可以从买来一台新的电脑就可以开始照着安装。我目前在虚拟机里面仅仅安装jdk和Hadoop，作为我们集群最基础需要的东西，有需要学习其他的东西的小伙伴可以等待我的后续更新，和其他博主不一样的是，每个人都有
------------------------- A little Progress a day makes you a big success... ----------------------------
转载
2018-09-27 16:39:00
81阅读
2评论
HDFS快照概观Snapshottable目录快照路径使用快照升级到HDFS版本快照操作管理员操作允许快照禁止快照用户操作创建快照删除快照重命名快照获取Snapshottable目录列表获取快照差异报告概观HDFS快照是文件系统的只读时间点副本。可以在文件系统的子树或整个文件系统上拍摄快照。快照的一些常见用例是数据备份，防止用户错误和灾难恢复。HDFS快照的实施非常有效：快照创建是即时的：成本是O
转载
2023-07-24 13:56:20
62阅读
由于实践部分主要以 Hadoop 1.0 环境为主，所以这主要介绍如何搭建 Hadoop 1.0分布式环境。整个分布式环境运行在带有linux操作系统的虚拟机上，至于虚拟机和linux系统的安装这里暂不做过多介绍。安装 Hadoop 分布式环境：1) 下载 Hadoop 安装包：在http://pan.baidu.com/s/1qXSN3hM地址中可以找到hadoop-1.2.1-bin.tar.
kafka作为分布式日志收集或系统监控服务，我们有必要在合适的场合使用它。kafka的部署包括zookeeper环境/kafka环境，同时还需要进行一些配置操作.接下来介绍如何使用kafka. 我们使用3个zookeeper实例构建zk集群，使用2个kafka broker构建kafka集群. 其中kafka为0.
（一）概述我们在上一篇blog已经详细的分析了一个作业从用户输入提交命令到到达JobTracker之前的各个过程。在作业到达JobTracker之后初始化之前，JobTracker会通过submitJob方法，为每个作业都创建一个JobInProgress对象(本文以后简称JIP)，用于维护作业的运行时信息以及监控正在运行作业的运行状态和进度。然后检查提交作业的用户是否具有指定队列的作业提交权限，
HADOOP辅助工具、HA部署 前言 在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示：图：典型大规模离线数据处理平台sqoop数据迁移工具 2.1 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之
转载
2023-09-28 22:55:49
61阅读
这一步开始正式搭建hadoop，但是要确保前面的每一步都完成首先要下载一个一些工具：1.hadoop的安装包，linux版本的，后缀名市是tar.gz的这种2.跨平台数据传输工具，这里推荐使用xshell和xftp，xshell用来链接linux，而xftp则用来将一些文件从本机传到linux中（这个是在本机安装的，不要放到虚拟机里）第一步：将hadoop的安装包传输到master中，然后解压：t
转载
2023-07-24 11:31:50
91阅读
首先，高可用集群是建立在zookeeper搭建没有问题的前提下来完成的，没有搭建好zookeeper的，先搭好才可以做以下操作。 一：前期准备（只需要在主节点master上完成） 1.拍摄快照 想拍就拍，不想拍算了，建议还是拍一个，毕竟万一搭不好，还可以回到你这个状态，记得给快照加个备注，以防忘记你这个快照是干嘛的。最好关机状态下拍。 2.删除完全分布式集群rm -rf /usr/local/
转载
2023-07-24 14:28:37
69阅读
Hadoop完全分布式配置Hadoop完全分布式部署一、需要的软件二、安装配置Hadoop1、 配置静态网络，关闭防火墙，设置hosts映射关系1.1使用ping 命令检测网络是否连通1.2 修改ip地址，设置为静态网络。1.3 关闭防火墙1.4 设置hosts映射关系1.4.1 编辑hosts文件：1.4.2 进入编辑模式 i，在最后一行添加2. 设置机器主机名和网络，以及测试hosts映射是
转载
2023-07-14 15:19:59
46阅读
本章介绍在CentOS搭建Hadoop集群环境 一、 安装Hadoop1. 解压文件tar -zxvf hadoop-2.7.0-x64.tar.gz -C /opt #解压Hadoop2. 编辑全局变量vi /etc/profile增加以下全局变量export HADOOP_HOME=/opt/hadoop-2.7.0
export PATH=$HADOOP_HOME/bin:$HAD
转载
2023-06-30 21:40:16
55阅读
前言再看本文章之前，请先确保已经看过CentOS下hadoop的分布式搭建和分布式协作服务框架Zookeeper安装部署两篇文章，因为本文章是建立在它们基础之上的。一、HA相关介绍1、为什么出现HA架构Hadoop2.0之前，在HDFS集群中NameNode存在单点故障(SPOF)（也就是namenode单点宕机导致集群不可用的问题）。NameNode主要在以下两个方面影响HDFS集群:
Name
转载
2023-07-12 13:49:44
43阅读
Hadoop Hadoop是一个能够对海量数据进行分布式处理的系统架构，为大数据计算提供了分布式的集群环境及计算框架；Hadoop框架的核心是：HDFS和Map Reduce。 HDFS分布式文件系统为海量的数据提供了存储，MapReduce分布式处理框架为海量的数据提供了计算。Hadoop部署 Hadoop部署方式分三种，Standalone mode单节点、Pseudo-Distributed
转载
2023-07-24 14:28:08
45阅读
在hadoop生态系统中，hadoop核心包括了hdfs以及mapreduce.hadoop的一些设计机制机架感知rack-aware使得master能够获取整个集群的基于网络ip地址或者主机名的分布图。通过一个脚本实现，脚本耦合少，参数只有网络ip地址或者主机名。相关配置项 topology.script.file.namehealth-checker健康检查的模块 类似hadoop这
