1、根据需求，为公司规划搭建集群的具体方案。规划（7台服务器为例）：NameNodeDataNodeZookeeperZKFCJournalNodeRMNodeManagerMysqlHiveHbaseFlumeAzkaban1Y YYYY(管理日志)YYYYYY2YY YYYYYY 3 YYY Y YY4YY&n
转载
2023-09-27 12:18:08
656阅读
已经自学了好几个月的大数据了，第一个月里自己通过看书、看视频、网上查资料也把hadoop（1.x、2.x）、spark单机、伪分布式、集群都部署了一遍，但经历短暂的兴奋后，还是觉得不得门而入。 只有深入大数据开发才能逐步掌握大数据。而首先要搭开发环境，对于一个像我这样之前只做过plsql开发的人来说，确实走了很多弯路。一开始目标设得很高，直接下源代码编译成jar包进行使用，后来发现其实没什么
1 使用Hive或者自定义MR实现如下逻辑
product_no lac_id moment start_time user_id county_id staytime city_id
13429100031 22554 8 2013-03-11 08:55:19.151754088 571
PMP考试全攻略：答案揭秘与PDU积攒之道
对于项目管理专业人士而言，PMP认证无疑是一项极具价值的资质。然而，获得这项认证并非一劳永逸，为了保持认证的有效性，每三年需要积攒60个PDU。本文将为您深入解析PMP考试的相关内容，并探讨如何有效积攒PDU，助您轻松应对PMP认证挑战。
一、PMP考试概述
PMP考试时间为230分钟，共包含180道选择题。考试内容主要涵盖项目管理的各个领域，如项
原创
2023-11-14 11:51:45
59阅读
1 概述学了那么久的hadoop，到底什么是hadoop呢？ 先来说说我的理解，从广义上说他可以代表hadoop整个生态圈例如，hive，spark，hbase，zookeeper等等一系列框架。 从狭义上说他是一个，他是分布式的，可扩展的，高可用的、可靠的框架，由hdfs，mapreduce，yarn组成（hadoop1.x只有hdfs，mapreduce）。该篇博客只进行整体思路的介绍，涉
转载
2023-12-06 22:57:52
38阅读
七、八、九、十、十二、十三放到一起理解。一、大数据的概念和特点、分类又称巨量数据，是指数据量达到无法用 人脑，甚至现有工具获取，处理，并整理成为帮助企业经营决策更积极目的的资讯。特点：数据量大，类型多，时效性，速度快，真实性。分类：传统企业数据，机器和传感器数据，社交数据。二、云计算的概念，特点云计算是基于互联网的计算机方式，通过这计算方式，可以把共享的软硬件信息按需分配给计算机和其他设备。特点：
转载
2023-12-26 10:43:10
157阅读
Hadoop面试重点 文章目录Hadoop面试重点一、 Hadoop组成（面试重点）二、常用端口号说明三、常用配置文件HDFS1、HDFS块大小2、HDFS的Shell操作（开发重点）3、HDFS的读写流程MapReduce内核源码解析1、MapTask工作机制2、ReduceTask工作机制 一、 Hadoop组成（面试重点）二、常用端口号说明端口名称Hadoop2.xHadoop3.xName
转载
2023-08-07 17:42:40
91阅读
目录Hadoop概述历史作用Hadoop的安装Hadoop版本介绍Hadoop 的安装有三种方式Hadoop伪分布式安装进入目录上传安装包并解压修改配置文件启动初始化启动停止测试HDFS详解NameNodeDataNodeBlockSecondaryNameNodeHDFS优点HDFS缺点HDFS细节NameNode、SecondaryNameNode如何工作？Block备份如何放置？HDFS基本
转载
2024-08-02 10:04:06
27阅读
在项目管理领域，PMP认证无疑是一块金字招牌，它代表着持证者在项目管理方面拥有的专业知识和实践经验。然而，获得PMP认证并不是一劳永逸的事情，为了保持认证的有效性，持证者需要在每三年的时间内获得60个专业发展单元（PDU）。这一要求确保了项目管理专业人员能够不断更新自己的知识体系，与行业的最新发展保持同步。
PMP考试是获得这一认证的关键步骤，其严格性和全面性在业界享有盛誉。考试时间为230分钟
原创
2024-02-07 12:21:25
98阅读
1.数据产生方式的变革主要经历了三个阶段，以下哪个不属于这三个阶段：A. 数据流阶段B. 运营式系统阶段C. 用户原创内容阶段D. 感知式系统阶段2单选(2分) 第三次信息化浪潮的发生标志是以下哪种技术的普及A. 物联网、云计算和大数据B. CPUC. 个人计算机D. 互联网3单选(2分) 1TB = ( )MBA. 2^20（备注：2的20次方）B. 1024C. 1000D. 2^10（备注：
转载
2023-09-28 07:28:31
259阅读
关于PMP考试及其证书维护的全面解析
在当今高度竞争的项目管理领域，PMP（项目管理专业人士）认证无疑是一块金字招牌。PMP认证不仅代表了持证者在项目管理领域的专业能力和经验，更是他们不断追求卓越的象征。然而，获得PMP认证并非一劳永逸，为了保持其有效性，持证者需要在每三年内获得60个PDU（专业发展单元）。本文将围绕PMP考试及其证书维护进行深入探讨，帮助广大项目管理人士更好地应对挑战。
首
原创
2024-02-07 12:20:48
68阅读
Hadoop由以下几个项目构成总体结构图如下1、Hadoop Common ：Hadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。2、HDFS：分布式文件系统，提供高吞吐量的应用程序数据访问，对外部客户机而言，HDFS 就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件，等等。但是 HDFS 的架构是基于一组特定的节点构建的（参
转载
2024-10-12 11:13:57
31阅读
1.使用绝对路径切换到/tmp工作目录下cd /tmp2.使用命令在/tmp目录下创建dira,dirb,dirc三个目录(使用一条命令)mkdir dira dirb dircmkdir dir{a..c}3.在dirb下创建11,11下创建22,22下创建33(使用一条命令)mkdir -p d ...
转载
2021-09-20 15:37:00
123阅读
2评论
【PMP考试答案2020】—— 深度解析PMP考试与持续认证的重要性
当我们谈论项目管理专业性时，PMP认证无疑是一座金字塔的顶端。PMP，即项目管理专业人士(Project Management Professional)，是由美国项目管理协会(PMI)颁发的全球公认的项目管理专业人士资格认证。然而，获得PMP认证并非一劳永逸，每三年需要获得60个专业发展单元(PDU)才能保持其有效性。本文将
原创
2024-01-12 12:22:24
50阅读
【PMP考试和答案】—— 探寻PMP认证之旅
随着项目管理在各行各业的广泛应用，越来越多的人选择通过PMP（项目管理专业人士）认证来提升自己的项目管理能力。PMP认证不仅仅是一张证书，更是项目管理专业人士的象征，代表着持证者在项目管理领域的专业素养和实践能力。
一、PMP认证——专业能力的象征
获得PMP认证意味着持证者已经掌握了项目管理的核心理念、工具和方法，具备了在复杂多变的项目环境中应
原创
2023-11-15 10:17:08
68阅读
启明软件考试答案与软考：备考策略、挑战与前景
在信息技术飞速发展的时代，软件考试成为了衡量专业人士技能水平的重要标准。启明软件考试作为国内知名的软件认证考试，其答案和考试内容对于备考者来说具有重要的意义。本文将围绕启明软件考试答案，探讨软考的备考策略、挑战与前景。
一、备考策略
1. 深入理解考试大纲：认真研读启明软件考试的考试大纲，了解考试的目标、要求和内容，为备考提供明确的方向。
2.
原创
2023-11-17 21:12:32
80阅读
打怪升级之小白的大数据之旅(五十七)Hadoop压缩上次回顾介绍完zookeeper之后，接下来就是Hadoop的扩展知识点，压缩和HA了，因为HA是建立在zookeeper基础上的，所以我现在才带来这个知识点Hadoop压缩压缩概述首先我们要知道，压缩是一种对数据的优化方法使用压缩可以有效减少HDFS存储数据的读写字节数，提高网络带宽和磁盘空间的使用效率因为运行MR操作时，Shuffle和Mer
1.安装虚拟机1.1 设置主机NAT网络 1.2 修改IP地址vim /etc/sysconfig/network-scripts/ifcfg-eth0
#系统启动的时候网络接口是否有效(yes/no)
ONBOOT=yes
# IP的配置方法[none|static|bootp|dhcp](引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议)
BOOTPROTO=static
#
转载
2024-06-19 19:38:50
580阅读
hadoop面试知识点01Hadoop基本常用端口hadoop集群搭建简单描述hdfs体系结构hdfs读写过程宕机datanode宕机namenode宕机因为MR造成系统宕机因为写入文件过量造成的namenode宕机元数据hdfs对元数据的管理元数据的checkpointcombiner和partitionerMR什么是MRMR结构MR流程流程解析Mapreduce 的 map 数量 和 red
转载
2023-11-07 11:26:21
76阅读
摘要：虽然2018年5月26日软考分数线还没有出来，但是大家可以根据答案进行估分，小编为大家汇总了网2018年5月26日软考真题答案估分。
转载
2023-07-29 16:43:59
74阅读
