1 概述学了那么久的hadoop，到底什么是hadoop呢？ 先来说说我的理解，从广义上说他可以代表hadoop整个生态圈例如，hive，spark，hbase，zookeeper等等一系列框架。 从狭义上说他是一个，他是分布式的，可扩展的，高可用的、可靠的框架，由hdfs，mapreduce，yarn组成（hadoop1.x只有hdfs，mapreduce）。该篇博客只进行整体思路的介绍，涉
转载
2023-12-06 22:57:52
38阅读
为什么经常把hadoop的本地库和压缩一起说，原来hadoop是使用Java语言开发的，但是一些需求和操作并不适合使用java(性能问题)或某些java类库的缺失，所以就引入了本地库(c/c++编写)的概念，而压缩的一些格式就正好需要使用本地库。1. 压缩hadoop中为什么使用压缩，因为压缩既减少了占用磁盘的空间又加快了文件的传输速度。 hadoop中常用到的压缩格式有lzo，lz4，gzip
转载
2023-07-20 17:17:10
83阅读
Hadoop面试重点 文章目录Hadoop面试重点一、 Hadoop组成（面试重点）二、常用端口号说明三、常用配置文件HDFS1、HDFS块大小2、HDFS的Shell操作（开发重点）3、HDFS的读写流程MapReduce内核源码解析1、MapTask工作机制2、ReduceTask工作机制 一、 Hadoop组成（面试重点）二、常用端口号说明端口名称Hadoop2.xHadoop3.xName
转载
2023-08-07 17:42:40
91阅读
目录Hadoop概述历史作用Hadoop的安装Hadoop版本介绍Hadoop 的安装有三种方式Hadoop伪分布式安装进入目录上传安装包并解压修改配置文件启动初始化启动停止测试HDFS详解NameNodeDataNodeBlockSecondaryNameNodeHDFS优点HDFS缺点HDFS细节NameNode、SecondaryNameNode如何工作？Block备份如何放置？HDFS基本
转载
2024-08-02 10:04:06
27阅读
hadoop面试知识点01Hadoop基本常用端口hadoop集群搭建简单描述hdfs体系结构hdfs读写过程宕机datanode宕机namenode宕机因为MR造成系统宕机因为写入文件过量造成的namenode宕机元数据hdfs对元数据的管理元数据的checkpointcombiner和partitionerMR什么是MRMR结构MR流程流程解析Mapreduce 的 map 数量 和 red
转载
2023-11-07 11:26:21
76阅读
本人开始迁移，整个架构自己搭建及编码1.Hadoop集群可以运行的3个模式？ 单机（本地）模式 伪分布式模式 全分布式模式 2. 单机（本地）模式中的注意点？ 在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。 3.
转载
2024-02-26 20:56:45
18阅读
打怪升级之小白的大数据之旅(五十七)Hadoop压缩上次回顾介绍完zookeeper之后，接下来就是Hadoop的扩展知识点，压缩和HA了，因为HA是建立在zookeeper基础上的，所以我现在才带来这个知识点Hadoop压缩压缩概述首先我们要知道，压缩是一种对数据的优化方法使用压缩可以有效减少HDFS存储数据的读写字节数，提高网络带宽和磁盘空间的使用效率因为运行MR操作时，Shuffle和Mer
华为认证有三个级别，从低到高分别是HCIA（工程师级别）-HCIP（高级工程师级别）-HCIE（专家级别），每个级别都有不同的认证方向。考试难度和含金量也会有不同。 拿华为认证最热门的方向之一Datcom的三个级别举例：HCIA-Datacom考试费200美金，通过这门考试即可拿取对应的证书，证书有效期为三年，三年后需要重新认证，认证方式是需要再参加一次考试。考试题型为：单选题，多选题，判断题，填
转载
2023-09-20 10:20:48
331阅读
# Hadoop考试题实现指南
## 一、整体流程
```mermaid
journey
title Hadoop考试题实现流程
section 确定题目
开发者确定考试题目
section 准备数据
开发者准备好测试数据
section 编写MapReduce程序
开发者编写MapReduce程序实现题目要求
原创
2024-04-07 05:49:45
19阅读
一、kudu背景介绍Kudu是Cloudera开源的新型列式存储系统，是Apache Hadoop生态圈的成员之一(incubating)，专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。1.1 一方面：在KUDU之前，大数据主要以两种方式存储；（1）静态数据：以 HDFS 引擎作为存储引擎，适用于高吞吐量的离线大数据分析场景。这类存储的局限性是数据无法进行随机的读写。
转载
2023-07-14 20:46:47
103阅读
buf：就是本地缓冲区 最后返回你所拷贝的量进入sum.getBytesPerChecksum()这个方法可以看出bytesPerChecksum是个成员变量这个成员变量的值就等于chunksize 传输过程中要进行校验，从data1向data2传输数据的过程中要进行校验处理，把你要传输的数据和你要算的码放在一起，data2拿到
转载
2023-12-10 10:15:06
99阅读
1、Hadoop常用端口号hadoop2.xHadoop3.x访问HDFS端口50070 9870访问MR执行情况端口8088 8088 历史服务器19888 19888 客户端访问集群端口900080202、Hadoop配置文件hadoop2.x core-site.xml、hdfs-s
转载
2023-07-13 17:45:44
111阅读
顺丰当时也是一站式面试，这应该是我拿到的 第一个offer了，分享下经验，但当时记住的题目不多，仅供参考哈1 hadoop和spark的都是并行计算，那么他们有什么相同和区别两者都是用mr模型来进行并行计算，hadoop的一个作业称为job，job里面分为map task和reduce task，每个task都是在自己的进程中运行的，当task结束时，进程也会结束 Hadoop实质上更多是一个分布
转载
2023-12-19 23:41:35
0阅读
1、简单描述如何安装配置一个apache开源版hadoop，只描述即可，无需列出完整步骤，能列出步骤更好。安装JDK并配置环境变量（/etc/profile）关闭防火墙配置hosts文件，方便hadoop通过主机名访问（/etc/hosts）设置ssh免密码登录解压缩hadoop安装包，并配置环境变量修改配置文件（$HADOOP_HOME/conf）
hadoop-env.sh core-site
转载
2023-07-12 13:27:02
73阅读
1.MapTask并行机度是由什么决定的？由切片数量决定的。3.combiner和partition的作用：combiner的意义就是对每一个maptask的输出进行局部汇总，以减小网络传输量 partition的默认实现是hashpartition，是map端将数据按照reduce个数取余，进行分区，不同的reduce来copy自己的数据。 partition的作用是将数据分到不同的
转载
2024-08-20 22:58:46
22阅读
NameNode存储内容文件系统的命名空间：
a、文件名称；${dfs.name.dir}/current/VERSION
b、文件目录结构；/edits
c、文件的属性(权限，创建时间、副本数);/fsimage
d、文件对应哪些数据块-->数据块对应哪些DataNode节点；/fstime
说明d：不会持久化存储这个映射关系，是通过集群的启动和运行
转载
2023-07-21 14:46:56
0阅读
hadoop面试题汇总1. 说说搭建hadoop集群的3个xml文件。答：core-site.xml：核心配置文件。hdfs-site.xml：hdfs配置文件。/mapred-site.xml：MapReduce配置文件。2. 正常的hadoop集群工作都会启动哪些进程？答：NameNodeDataNodeSecondary NameNode3. 他们的作用分别是什么？NameNode：主节点，
转载
2023-07-30 15:49:59
195阅读
一、单选题1、Shuffle中Partitioner 分区发生在哪个过程( A )A. 溢写过程B. 本地MergeC. reduce函数阶段D. map函数阶段 2、在整个maprduce运行阶段，数据是以( A )形式存在的A. key/valueB. LongWritableC.
转载
2023-07-13 11:15:57
123阅读
目的鉴于性能问题以及某些Java类库的缺失，对于某些组件，Hadoop提供了自己的本地实现。 这些组件保存在Hadoop的一个独立的动态链接的库里。这个库在*nix平台上叫libhadoop.so. 本文主要介绍本地库的使用方法以及如何构建本地库。 组件Hadoop现在已经有以下 compression codecs本地组件：
在以上组件中，lzo和gzip压缩编解码器必须使用hadoo
转载
2011-01-22 18:36:00
129阅读
2评论
主体转自：http://blog.sina.com.cn/s/blog_3d9e90ad0102wqrp.html （未亲测，我的getconf LONG_BIT返回32，且file libhadoop.so.1.0.0返回64，与之相反） Hadoop的本地库（Native Libraries）介绍 Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就
转载
2024-01-08 15:23:25
58阅读
