一、介绍HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。二、HDFS 设计原理2.1 HDFS 架构HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 DataNode(DN) 组成：NameNode : 负责执行有关 文件系统命名空间 的操作，例如打开，关闭、重命
转载
2023-07-24 09:18:01
79阅读
环境：CentOS6.5内容只针对本机，做一个个人的笔记记录#启动hadoop进程
./sbin/start-all.sh
#想要打开浏览器查看HDFS和YARN的集群状态。必须要执行下面两个语句：
#关闭防火墙
service iptables stop
#关闭防火墙开机启动
chkconfig iptables off
然后访问http://192.168.153.128:8088查看YA
转载
2023-09-20 10:40:38
66阅读
hadoop hdfs 适合一次写入多次读取，并且不适合 通过fuse_dfs 方式读写文件，效率太低！
原创
2012-02-28 13:09:13
952阅读
创建数据库表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
MapReduce如何工作 （图：*Jomini是我的水印） 1、Hadoop进行Mapreduce的的五个部分，以下是五个部分： (1) 客户端：提交
♚Hadoop的认识 1.hadoop是google公司三篇论文思想的实现 ①hdfs—gfs ②mapreduce-mapreduce③hbase-bigtable 2.hadoop版本的演变 经历三代，与一代相比二代最明显变化增加yarn 3.hadoop特点 ①高可靠性②高拓展性③高效性④高容错性 4.狭义的hadoop包括：hdfs、mapreduce、yarn 5.广义的hadoop是一
转载
2023-07-24 10:26:42
29阅读
目录 map数量的控制减少Map个数增大Map个数Shuffle过程分析Map端聚合Combiner类目的Map端的聚合与Hive配置注意事项map数量的控制当我们提交一个mr任务会启用多少个map呢，这个map的数量如何控制呢，如何调整map的数量 在调优时我们不希望生成太多的Map，而把计算任务的等待时间都耗费在Map的启动上；或者不希望生成太多的Map对某个文
配置高可用的Hadoop平台
1.概述 在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（High Available 高可用）。这篇博客阐述如何搭建高可用的HDFS和YARN，执行步骤如下：创建hadoop用户安装JDK配置hosts安装SSH关闭防火墙修改时区ZK（安装，启动，验证）HDFS＋HA的结构图角色分配环境变量配置核心文件配置slave启动命令
1.Yarn 资源调度器Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。1.1 Yarn基础架构YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成。 1）ResourceManager（
转载
2023-07-24 09:14:45
46阅读
大数据技术之Hadoop （MapReduce） 第一章：MapReduce概述1.1：MapReduce定义1.2：MapReduce优缺点1.3：MapReduce核心思想1.4：MapReduce进程1.5：常用数据序列化类型1.6：MapReduce编程规范1.7：WordCount案例实操第二章：Hadoop序列化2.1：序列化概述2.2 ：自定义bean对象实现序列化接口（Writa
记录一次hadoop安装过程虚拟机的配置首先我们需要先装好一个虚拟机，我这使用的是Ubuntu18.04版本，安装好后是英文界面，可以按照以下方法更换为中文界面首先我们需要下载jdk打开火狐，切换成百度，搜索jdk，进入官网下载我们下载这个版本 2.接下来下载hadoop2.7.3版本（其余版本同样，这里使用2.7.3版本进行演示）下载网址：https://archive.a
转载
2023-07-16 22:18:08
272阅读
一 发现问题 当我们安装完毕hadoop后，输入jps，发现有NameNode,但是却没有DataNode。那么，为什么会出现这个问题呐？格式 化 NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式 化 NameNode 的话，一定要先停止 namenode 和 data
转载
2023-09-14 13:04:44
260阅读
前期准备就不详细说了，需要七台linux虚拟机1.修改Linux主机名
2.修改IP
3.修改主机名和IP的映射关系
######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）
/etc/hosts里面要配置的是内网IP地址和主机名的映射关系
4.关闭防火墙
5.ssh免登陆
6.安装JDK，配置环境变量等集群规划： 主机名
IP
Hadoop 安装部署详细说明Hadoop是什么？（1）Hadoop 是一个有 Apache 基金会开发的分布式系统基础架构（2）主要解决海量数据存储和海量数据分析计算问题（3）Hadoop 通常指 Hadoop 生态圈。Hadoop 的优势（四高）高可靠性：Hadoop 底层维护多个数据副本，即使 Hadoop 某个计算程序或存储出现故障，也不会导致数据的丢失。高扩展性：在集群之间分配任务数据，
转载
2023-08-18 22:56:24
59阅读
****************************************【展示】***************************************①主页展示： ②二级文件夹_music展示 ③二级文件夹_video展示 ④删除文件后的效果 ⑤下载文件的效果图 ⑥登录界面 ⑦注册页面
文章目录一、HDFS架构1.前言：2.架构详解：3.块和复制：二、HDFS读写流程1.读取流程：2.写入流程：三、HDFS HA1.基于NFS共享存储解决方案：2.基于Qurom Journal Manager(QJM)解决方案：四、hadoop2.x新特性1.NameNode Federation：2.结合HDFS2的新特性，在实际生成环境中部署图：3.hadoop3.x： 一、HDFS架构1
转载
2023-07-14 16:31:14
150阅读
$mahout seqdumper -i output/clusters-1/part-r-00000直接在控制台上显示，要写入文件可以在后面加上-o <输出路径> mahout中的kmeans结果分析
运行官网上的mahout kmeas示例，结果文件夹有clusteredPoints，clusters-N，
文章目录一、DataNode工作机制二、数据完整性三、DataNode掉线时限参数设置四、服役新数据节点五、退役旧数据节点5.1 白名单退役5.2 黑名单退役一、DataNode工作机制一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件：一个是数据本身，另一个是元数据包括数据块的长度、块数据校验和，以及时间戳。
DataNode启动后向NameNode注册，通过后，周期性（1小时）
工具：IDEA在一切开始之前，我们先要确定我们的hadoop环境是否正常，hdfs文件系统是否正常。 如何验证呢？首先，把集群启动，正常显示界面： 进入文件系统： 此时需要创建一个文件夹用于存放一会会用到的文件，我这里取名为input 在hdfs系统创建文件夹有两个方法，其中一个是直接敲命令：hadoop fs -mkdir /input 第二个是在界面上创建： 不管用哪种方式，保证有这么一个文件
转载
2023-09-06 10:58:05
31阅读
新手发帖，很多方面都是刚入门，有错误的地方请大家见谅，欢送批评指正前次给出了hadoop之测试KMeans(一)：运行源码实例，这次来分析一下整个MapReduce的输出结果。测试数据文件依然是文一中提到的15组数据：(20,30) (50,61) (20,32) (50,64) (59,67)(24,34) (19,39) (20,32) (50,65) (50,77) (20,30) (20,31) (20,32) (50,64) (50,67)先上一张我懂得的这个程序的一个流程图，尤其注意数据<key, value>的输入输出方面。现在开始分析输出结果，旁边用--***--的
转载
2013-05-28 23:15:00
126阅读
2评论
