1 单选题 1.1 下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 答案 C datanode 1.2 HDfS 中的 block 默认保存几份? a)3 份 b)2 份 c)1 份 d)不确定 答案 A 默认 3 分 1.3 下列哪个程序通常与 NameNode 在一
转载 2024-09-29 11:25:21
69阅读
文章目录一hdfs.写数据流程二.hdfs读数据流程三.简单说说HDFS中NameNode,DataNode的作用?四.SecondaryNameNode的作用?或者是NameNode的启动过程?五.集群安全模式?什么情况下会进入到安全模式?安全模式的解决办法?1.进入安全模式的情况2.异常情况下导致的安全模式六.为什么HDFS不适合小文件七.HDFS支持的存储格式和压缩算法?1.存储格式2.压
转载 2023-11-18 23:48:54
53阅读
Hadoop/Spark相关面试问题总结 <!-- author: 小黑 date: 2015-07-16 title: Hadoop/Spark相关面试问题总结 tags: Others category: Others status: publish summary: Hadoop/Spark相
转载 2017-08-13 18:32:00
143阅读
2评论
1、半数机制,安装奇数台 2、常用命令 ls get create 3、paxos算法 今日头条 4、安装台数 10台服务器安装多少zk 3台 20台服务器安装多少zk 5台 50台服务器安装多少zk 7台 100台服务器安装多少zk 11台 Zookeeper越多好还是越少好? 台数多,好处:提高
转载 2020-10-05 21:17:00
123阅读
2评论
引用:://hbtc2012. 、内容挖掘、自然语言理解、数据可视化、计算广告学、地理信息系统等相关技术主题进行探讨,充分促进Hadoop与大数据技术在国内的应用实践。四大分论坛技术共享:Hadoop生态系统、大数据行业应用、SQL与大数据、大数据共享平台与实践不管您是DBA、架构师还是CT
1、Sqoop参数 /opt/module/sqoop/bin/sqoop import \ --connect \ --username \ --password \ --target-dir \ --delete-target-dir \ --num-mappers \ --fields-ter
转载 2020-10-06 17:18:00
217阅读
2评论
面试流程和内容大致有以下几个:一、8月9日,友盟软件公司考试大概内容:1、网络部分:Tcp/ip基础知识,交换机的stp协议,vlan,三层交换,路由器的ospf路由协议,bgp协议等。2、unix系统:主要考试内容为hp-unix的基础知识,磁带机的备份等,我以linux作答。3、windows系统:活动目录的基本知识,组策略。4、数据库:主要考试了oracle,informix,sql数据库的
转载 精选 2007-03-05 00:32:13
678阅读
概述MVC体系结构? 答:MVC包括三类对象,model是应用对象,view是视图,controller是控制器,它定义用户界面对用户输入的响应方式。
原创 2023-04-24 17:16:33
256阅读
前段时间读完了谷歌的三大论文,现在开始正式学习hadoop,今天就先整理一下hadoop的一些基本要点。一.从起源开始聊起hadoop的起源也就是谷歌著名的三大论文,或者可以说是谷歌三大论文的开源实现。Hadoop的核心组件有三个:HDFS,Hadoop MapReduce,HBase,分别是谷歌的GFS,Google MapReduce和BigTable的开源实现。另外,有趣的是,Hadoop
转载 2023-07-21 13:57:33
59阅读
hadoop相关知识汇总介绍HDFS(Hadoop Distributed File System):HDFS架构(1.0)HDFS特性MapReduce体系结构(1.0)MapReduce特性YARN(Yet Another Resource Negotiator)YARN基本架构Hadoop2.x特性HDFS FederationNameNode HAHDFS快照通过NFSv3访问HDFSh
转载 2023-09-14 13:20:01
92阅读
大数据专业人员的5大Hadoop课程-最佳 如果您正在学习大数据,或者想要探索Hadoop框架,并正在寻找一些很棒的课程,那么您来对地方了。 在本文中,我将分享一些最佳的Hadoop课程,以深入学习Apache Hadoop。 在上两篇文章中,我分享了一些大数据和Apache Spark资源,这些资源已得到读者的好评。 之后,我的一些读者给我发送了电子邮件,询问了一些Hadoop
转载 2023-07-14 16:46:01
67阅读
--思考1:map()方法写出的数据存储到哪里? --内存中1、在内存中存有一个环形缓冲区,该缓冲区默认大小是100M,map()方法中写出的kv数据会进入到环形缓冲区内,但是map()写出的kv数据是很大的,环形缓冲区不可能存的下,考虑到这一情况,设计者设置环形缓冲区的运行机制设置
原创 2023-02-15 11:41:10
131阅读
1)Hadoop默认不支持LZO压缩,如果需要支持LZO压缩,需要添加jar包,并在hadoop的cores-si
原创 2022-11-11 10:14:32
90阅读
hadoop视频,主要介绍了hadoop单机版和集群的安装方法,还介绍了HDFS的命令行工具的使用,非常适合初学者。 http://www.17hadoop.com/ziyuanxiazai/103.html 这...
原创 2023-05-06 20:25:44
152阅读
      hadoop的组成是由hdfs,mapreduce和hbase组成。        1.hdfs是google file system(GFS)的开源实现。HDFS 就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件,等等。但是 HDFS 的架构是基于一组特定的节点构建的。这是由它自身的特点决定的。这些节
原创 2012-12-06 13:05:40
593阅读
 hadoop相关资料 http://lbxc.iteye.com/blog/1819794
原创 2023-06-15 00:15:00
60阅读
Hadoop是一个开源的分布式计算框架,它可以处理大规模数据集并提供高容错性。Hadoop由许多相关组件组成,每个组件都有不同的功能和作用。本文将介绍Hadoop相关组件,并给出相应的代码示例。 ## Hadoop相关组件 ### 1. Hadoop HDFS Hadoop分布式文件系统(Hadoop Distributed File System,简称HDFS)是Hadoop的核心组件之
原创 2024-01-16 04:37:17
69阅读
官方默认配置地址:https://hadoop.apache.org/docs/stable/ ###########################core-site.xml<configuration> <property> <name>hadoop.tmp.dir</name> <value> ...
转载 2021-09-11 09:14:00
141阅读
2评论
spark运行时出现Neither spark.yarn.jars nor spark.yarn.archive is set错误的解决办法(
原创 2019-01-17 19:54:48
69阅读
机(本地)模式伪分布式模式全分布式模式2. 单机(本地)模式中的注意点?在单机模式(standalone)中不会存在守
转载 2016-07-22 13:39:00
101阅读
2评论
  • 1
  • 2
  • 3
  • 4
  • 5