51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
全部课程 厂商认证 IT技术 24年11月软考 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
# Hadoop

20180611早课记录28-Sqoop

1.sqoop是什么?主要用于在Hadoop与RDBMS间进行数据的传递2.sqoop分为哪两个分支，各最新版本是什么?sqoop1：1.4.7sqoop2：1.99.73.在工作中我们用的最多的是sqoop1，那么导入和导出，谁给谁的导入是RDBMS到Hadoop导出是Hadoop到RDBMS4.假如输入一个命令找不到notfound，你们觉得该怎么办?（老生常谈）先看打错了没有，再看PATH有

Hadoop
Sqoop
原创 2018-06-11 13:36:25 748 阅读

20180601早课记录23-Hadoop

1.hdfs是属于什么架构高可用的分布式架构2.hdfs部署后进程哪些?按启动顺序说NameNode,DataNode,SecondaryNameNode3.一个文件180M，请问实际存储多少，多少块?多少maptask?（副本为3）540M,6块，假如文件支持分割，那么就2个maptask。假如文件是压缩的，那么正好压缩不支持分割，那么就一个maptask4.副本放置策略，来说说看就近分配5.s

Hadoop
原创 2018-06-01 14:13:17 405 阅读

20180531早课记录22-Hive

1.hive是什么?基于Hadoop的一个数据仓库工具2.hive的默认使用什么数据库?生产上我们一般用什么?默认使用derby生产使用MySQL3.hive的元数据存储在哪?数据存储在哪?MySQLHDFS4.hive的SQL语法和什么类似和MySQL语法类似5.hive底层执行计算引擎是什么MapReduce/tez/spark6.hive使用mysql做元数据存储，那么部署过程中，注意什么注

Hadoop
Hive
原创 2018-05-31 14:40:19 600 阅读

Yarn命令使用及wordcount解析

前言：前面几篇博客主要介绍了MapReduce与Yarn的架构设计及简单工作流程，本篇文章将以wordcount程序为例，简单介绍下Yarn的使用。1.wordcount示例运行[root@hadoop000~]#su-hadoop[hadoop@hadoop000~]$jps9201SecondaryNameNode9425ResourceManager13875Jps9540NodeManag

Hadoop
Yarn
原创 2018-05-29 21:16:18 2408 阅读

Yarn架构设计详解

1.Yarn基本服务组件Yarn是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。ResourceManager(RM)：负责对各NM上的资源进行统一管理和调度。将AM分配空闲的Container运行并监控其运行状态。对AM申请的资源请求分配相应的空闲Container。主要由两个组

Hadoop
Yarn
原创 2018-05-29 21:15:23 6094 阅读

MapReduce架构简介

前言：MapReduce是用于数据处理的一种编程模型，简单但足够强大，专门为并行处理大数据而设计。MapReduce的处理过程分为两个步骤：map和reduce。每个阶段的输入输出都是key-value的形式，key和value的类型可以自行指定。map阶段对切分好的数据进行并行处理，处理结果传输给reduce，由reduce函数完成最后的汇总。到了2.0之后，MapReduce可以理解为是一个j

Hadoop
MapReduce
原创 2018-05-29 21:14:19 1336 阅读

20180528早课记录19-Hadoop

1.yarn的进程哪两个?NodeManager,ResourceManager2.rm进程包含哪两个?ApplicationsMaster,ResourceScheduler3.容器什么单词?是在NM节点上还是RM节点?container,在NM节点4.内存参数和CPU参数能记得几个?假如让你们去官网搜，你们会知道以什么关键词搜搜吗yarn.nodemanager.resource.memory

Hadoop
Yarn
原创 2018-05-28 10:15:21 1238 阅读

20180525早课记录18-Hadoop

1.昨晚若泽分享了一个开源组件叫什么？hystrix2.jps如果看了信息不可用，我们该怎么做ps一下进程进入相应用户下去看3.hadooppid默认在哪?哪个变量和参数文件修改默认在/tmp目录下在hadoop-env.sh参数文件修改HADOOP_PID_DIR变量4.hdfs日志显示是在safemode，那么哪个命令可以尝试让hdfs离开安全模式hdfsdfsadmin-safemodele

Hadoop
早课
记录
原创 2018-05-28 10:14:32 495 阅读

20180524早课记录17-Hadoop

1.MapReduce谈谈你们的理解执行引擎计算2.Map是什么map：映射函数3.Reduce是什么reduce：规约函数4.shuffle谈谈你们的理解相当于洗牌按key进行分组5.wordcount那副图，脑子是否有印象?不太深入6.输入分片一般和什么有关?多少个分片就可以有多少个maptask，对不对?块大小不对会合并小文件7.mapreduce架构设计中应用程序AM和task都运行在哪个

Hadoop
早课记录
原创 2018-05-28 10:13:48 582 阅读

Hadoop回收站及fs.trash参数详解

前言：Linux系统里，个人觉得最大的不方便之一就是没有回收站的概念。rm-rf很容易造成极大的损失。而在Hadoop或者说HDFS里面，有trash(回收站)的概念，可以使得数据被误删以后，还可以找回来。Hadoop里的trash选项默认是关闭的，所以如果要生效，需要提前将trash选项打开，修改conf里的core-site.xml即可，下面我们测试下开启前后的区别：1.不启用trash[ha

Hadoop
参数详解
原创 2018-05-23 21:36:55 1067 阅读

HDFS常用命令整理

简介：HDFS文件系统提供了相当多的shell操作命令，大大方便了程序员和系统管理人员查看、修改HDFS上的文件。进一步，HDFS的操作命令和Unix/Linux的命令名称和格式相当一致，因而学习HDFS命令的成本也大为缩小。1.命令帮助[hadoop@hadoop000~]$hdfsdfsUsage:hadoopfs[genericoptions][-appendToFile<locals

Hadoop
HDFS
原创 2018-05-22 21:54:36 4563 阅读

Linux系统下pid与pid文件及Hadoop更改pid文件存储位置

1.认识pid：PID全称是ProcessIdentification。PID是进程的代号，每个进程有唯一的PID编号。它是进程运行时系统随机分配的，并不代表专门的进程。在运行时PID是不会改变标识符的，但是你终止程序后再运行PID标识符就会被系统回收，就可能会被继续分配给新运行的程序。2.pid文件pid文件的内容用cat命令查看，可以看到内容只有一行，记录了该进程的IDpid文件的作用防止启动

Hadoop
文件存储
位置
原创 2018-05-22 20:32:21 2875 阅读

HDFS读写流程简介

HDFS写流程：1.初始化FileSystem，客户端调用create()来创建文件2.FileSystem用RPC调用元数据节点，在文件系统的命名空间中创建一个新的文件，元数据节点首先确定文件原来不存在，并且客户端有创建文件的权限，然后创建新文件。3.FileSystem返回DFSOutputStream，客户端用于写数据，客户端开始写入数据。4.DFSOutputStream将数据分成块，写入

Hadoop
流程简介
原创 2018-05-22 19:42:54 2801 阅读

20180521早课记录14-Hadoop

1.hadoop是什么狭义:Hadoop软件(HDFS、MapReduce、Yarn)广义:以hadoop为主的生态圈2.hadoop三大组件是什么?分别做什么HDFS:分布式文件管理系统存储MapReduce:执行引擎计算Yarn:资源(memorycpu)和作业调度平台资源3.hdfs在部署时，要配置信任关系，请问root和hadoop用户部署时，区别是什么注意authorized_keys权

Hadoop
早课记录
51cto
原创 2018-05-21 13:56:58 505 阅读 1收藏

【Hadoop】YARN伪分布式部署和MapReduce案例

前言：前几篇文章我们介绍了HDFS组件的配置及启动，Yarn是Hadoop集群的资源与作业调度平台，下面介绍下Yarn的伪分布部署及MapReduce简单使用。1.配置文件及启动[hadoop@hadoop000hadoop]$pwd/opt/software/hadoop-2.8.1/etc/hadoop[hadoop@hadoop000hadoop]$cpmapred-site.xml.tem

Hadoop
MapReduce
案例
原创 2018-05-19 16:20:13 1134 阅读

Hadoop jps正确使用流程及报错处理

简介：jps(JavaVirtualMachineProcessStatusTool)是JDK1.5提供的一个显示当前所有java进程pid的命令，简单实用，非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。详细参数请参考：https://www.cnblogs.com/toSeeMyDream/p/5747412.html注：jps命令有个地方很不好，似乎只能显示当前用

Hadoop
报错
处理
原创 2018-05-19 16:13:14 1796 阅读

Hadoop用户重新部署HDFS

前言：在这篇文章中https://www.jianshu.com/p/eeae2f37a48c我们使用的是root用户来部署的，在生产环境中，一般某个组件是由某个用户来启动的，本篇文章介绍下怎样用hadoop用户来重新部署伪分布式(HDFS)1.前期准备创建hadoop用户，及配置ssh免密登录参考：https://www.jianshu.com/p/589bb43e02822.停止root启动的

Hadoop
重新部署
HDF
原创 2018-05-19 16:10:25 1068 阅读

Hadoop用户配置ssh免密登录

一般生产环境Hadoop组件都是由hadoop用户来启动，首先需要配置hadoop用户ssh免密登录1.创建Hadoop用户[root@hadoop000~]#useraddhadoop[root@hadoop000~]#idhadoopuid=1102(hadoop)gid=1102(hadoop)groups=1102(hadoop)[root@hadoop000~]#passwdhadoop

Linux
Hadoop
原创 2018-05-17 15:11:57 10000+阅读 1点赞 2评论

20180517早课记录12-Hadoop

1.hadoop的广义和狭义的理解狭义:Hadoop软件(HDFS、MapReduce、Yarn)广义:以hadoop为主的生态圈2.hadoop三大组件是什么?分别是做什么?HDFS:分布式文件管理系统存储MapReduce:执行引擎计算Yarn:资源(memorycpu)和作业调度平台资源3.hdfs伪分布式部署时我们需要配置当前用户对当前机器的无密码信任关系，那么你们会配置吗?root和其他

Hadoop
早课记录
原创 2018-05-17 14:21:30 603 阅读 1点赞 1评论

Hadoop伪分布式部署(HDFS)

环境要求：java、ssh1.上传并解压tar包[root@hadoop000software]#rz#上传hadoop-2.8.1.tar.gz[root@hadoop000software]#tar-xzvfhadoop-2.8.1.tar.gz2.配置环境变量[root@hadoop000software]#vi/etc/profileexportHADOOP_HOME=/opt/softw

Hadoop
伪分布式
部署
原创 2018-05-17 09:26:47 605 阅读 1点赞

【Hadoop】Hadoop2.8编译

Hadoop编译步骤：1.解压Hadoop源码包[root@hadoop000~]#mkdir-p/opt/sourcecode[root@hadoop000~]#mkdir-p/opt/software[root@hadoop000sourcecode]#cd/opt/sourcecode#将hadoop-2.8.1-src.tar.gz下载（或者用rz上传）到sourcecode目录[root

Hadoop
编译
原创 2018-05-16 16:34:14 1501 阅读 1点赞

Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯