HA高可用配置一、简述-------------------high availability,高可用.
两个名称节点，一个active(激活态)，一个是standby(slave待命),slave节点维护足够多状态以便于容灾。
和客户端交互的active节点,standby不交互.
两个节点都和JN守护进程构成组的进行通信。
数据节点配置两个名称节点，分别报告各自的信息。
同一时刻只能有一个激活
转载
2023-07-13 14:26:52
61阅读
core-site.xml hadoop core的配置项，例如hdfs和mapreduce常用的i/o设置等 hdfs-site.xml hadoop守护进程的配置项，包括namenode、辅助namenode和datanode等 mapred-site.xml mapreduce守护进程的配置项，包括jobtracker和tasktracker1、dfs.hosts 记录即将作为datan
转载
2023-07-24 11:30:31
196阅读
第一步从hadoop官网进行下载hadoop资源然后传到虚拟机进行解压命令：tar -zxvf xxx解压完成后进行环境变量配置主要是让Hadoop知道你的java在哪里1.cd 到hadoop文件夹 ->输入命令:vi hadoop env.sh在这一行写上java home这样第一步环境变量就配置完成了下来进行第二步,配置core-site.xml首先要说一下这个统一资源点位:像http
转载
2023-07-24 12:57:22
42阅读
hadoop主要包含三个配置文件：core-site.xml，hdfs-site.xml，mapred-site.xml/yarn-site.xml1 core-site.xml hadoop.tmp.dir 默认值为/tmp/。尽量手动配置该选项，否则默认都存放在/tmp目录下了，如果系统使多磁盘的，则可以为每个磁盘都设置一个临时目录。这样有利于提高hdfs和mapreduce的IO效率
转载
2023-09-08 21:51:23
114阅读
四个核心模块分别是：
• Hadoop Common (公共的工具，为其他模块提供支撑)
• Hadoop Distributed File System (HDFS) (是一个分布式文件系统，提供高吞吐量数据存储)
• Hadoop YARN (是一框架，负责任务调度和集群资源管理)
• Hadoop MapReduce (负责大数据集合的并行计算)
转载
2023-07-24 11:30:35
123阅读
编者按：Hadoop于2006年1月28日诞生，至今已有10年，它改变了企业对数据的存储、处理和分析的过程，加速了大数据的发展，形成了自己的极其火爆的技术生态圈，并受到非常广泛的应用。在2016年Hadoop十岁生日之际，InfoQ策划了一个Hadoop热点系列文章，为大家梳理Hadoop这十年的变化，技术圈的生态状况，回顾以前，激励以后。本文整理自去年4月份的QCon大会演讲“以Hadoop为核
转载
2024-08-14 12:11:26
84阅读
一、大数据的4V特征：1.大数据量：数据的存储量大，增量大
2.速度快：数据的增长速度快，对处理数据的响应速度有更严格的要求，数据的处理几乎无延迟，时效性高
3.多样性：1）数据的来源多样性，除了传统的交易数据外，还有社交网站等多种来源的数据
2）数据的种类多样性，具体可分为结构化数据，如财务系统数据等，半结构化数据，如网页等和非结构化数据，如视频，图片等
4.价值密度低：大数据真正的价值体
转载
2023-12-13 07:01:41
27阅读
1.HDFS1).永久性数据结构A.NameNode的目录结构NameNode被格式化之后，将产生所示的目录结构：${dfs.name.dir}/current/VERSION &nbs
转载
2023-07-09 22:49:00
65阅读
[大数据4V特征] ----------------------------------------------------- 1.Volum : 体量大 2.velocity: 速度快 3.variat
转载
2023-08-07 17:09:09
66阅读
元数据持久化原理如下：本地多目录多个目录之间使用逗号分隔dfs.namenode.name.dirNameNode配置多个本地目录主要是为了可靠性；每个目录存放的内容相同；dfs.datanonde.data.dir可以给不同的节点配置不同的数据存放目录；同一节点的不同的数据存放目录存放的数据内容不同——各目录之间不是备份的关系；数据节点配置多个目录不是为了可靠性；每...
原创
2022-09-30 10:15:49
98阅读
Writable接口1、对java中的int型进行封装那么就是hadoop中的IntWritable类，在写程序的时候可以把IntWritable可以看着是int类型，
原创
2023-05-16 00:58:03
56阅读
（一）大数据特征规模性（volume）、多样性（variety）、价值密度（value）和 高速性（velocity）进行描述。1：数据量大（volume） 非结构化数据的超大规模增长导致数据集合的规模不断扩大，数据单位已经从GB级到TB级再到PB级，甚至开始以EB和ZB来计数。2：类型繁多（variety） &nb
转载
2023-07-13 16:41:13
4阅读
# Hadoop与SM4加密算法
## 导言
在当今信息爆炸的时代，数据安全成为了一个重要的问题。保护数据的机密性和完整性对于企业和个人来说至关重要。因此，加密算法成为了一项重要的技术，用来保护数据的安全。
SM4是中国自主设计的一种对称加密算法，被广泛应用于各种领域，如电子商务、金融和云计算等。Hadoop是一个流行的大数据处理框架，用于在分布式环境中处理大规模数据集。本文将介绍Hadoo
原创
2023-08-28 10:38:37
294阅读
一、下载1.下载hadoop[root@master ~]# cd /usr/local/src/[root@master src]# wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz2.官网下载地址（可获最新）http://hadoop.apache.org/rele
原创
精选
2016-09-18 14:24:20
956阅读
1、SSH安装 1,设置ssh无密码登录~# ssh-keygen输入上面的命令后一路回车即可。2,拷贝生成的密码文件,默认生成的密码文件在用户名目
原创
2023-05-16 01:07:47
45阅读
Hadoop 高可用在Hadoop 2.0以前的版本，NameNode面临单点故障风险（SPOF），也就是说，一旦NameNode节点挂了，整个集群就不可用了，而且需要借助辅助NameNode来手工干预重启集群，这将延长集群的停机时间。而Hadoop 2.0版本支持一个备用节点用于自动恢复NameNode故障，Hadoop 3.0则支持多个备用NameNode节点，这使得整个集群变得更加可靠。什么是 Hadoop 高可用Hadoop 2.0版本支持一个备用节点用于自动恢复NameNode故障，Hado
原创
2021-10-14 16:43:49
323阅读
一、概述sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。sqoop的含义就是“SQL to Hadoop”核心的功能有两个：导入；导出导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统 导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命
转载
2023-12-18 23:54:10
64阅读
云计算——Hadoop2的搭建1 实验环境2创建hadoop用户1.在终端窗口，输入如下命令创建可以登陆的 hadoop 新用户，并使用 /bin/bash 作为 shell。2.使用如下命令设置密码，按提示输入两次：3.为 hadoop 用户增加管理员权限，方便部署，避免一些权限问题：4.注销当前用户，在登录界面使用刚刚创建的hadoop进行登录。 3 更新apt
转载
2023-09-24 21:02:24
74阅读
MapReduce工作流程：
[b]job提交流程：[/b]
[img]http://dl.iteye.com/upload/attachment/366883/b2e3cd06-379d-32a6-ae94-1b5256509ad8.png[/img]
1.client节点在提交job之前，先要求JobTracker分配一个新的job id；
2
转载
2023-07-24 14:10:56
201阅读
Hadoop中包含计算框架MapReduce和分布式文件系统HDFS，spark是一个计算框架//中间结果：spark保存到内存、Hadoop保存到磁盘，spark将执行模型抽象为通用的有向无环图通用计划（DAG）///数据格式和内存布局：spark：分布式内存存储结构弹性分布式数据集RDD，进行数据的存储，RDD支持粗粒度写操作，RDD读取可精确到每条数据记录，RDD可用来做分布式索引spark
