Hive 功能介绍Hive 是基于 Hadoop 的一个外围数据仓库分析组件，可以把 Hive 理解为一个数据仓库，但这和传统的数据库是有差别的。传统数据库是面向业务存储，比如 OA、ERP 等系统使用的数据库，而数据仓库是为分析数据而设计的。同时，数据仓库是在数据量巨大的情况下，为了进一步挖掘数据资源、为了企业决策需要而产生的，它不是所谓的“大型数据库”。Hive 通过将结构化的数据文件映射到一
转载
2023-09-20 07:02:43
65阅读
Apache Kafka是一个分布式发布 - 订阅消息系统和一个强大的队列，可以处理大量的数据，并使你能够将消息从一个端点传递到另一个端点。 Kafka适合离线和在线消息消费。 Kafka消息保留在磁盘上，并在群集内复制以防止数据丢失。 Kafka构建在ZooKeeper同步服务之上。 它与Apache Storm和Spark非常好地集成，用于实时流式数据分析。
一、Hive的基本概念1、Hive是什么Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序（1）Hive处理的数据存储在HDFS（2）Hive分析数据底层的实现是MapReduce（3）执行程序运行在Yarn上（4）Hive不是数据库2、Hive架构元数据：Metastore元数据包括：表名、表所属
Hive学习总结跟学尚硅谷Hive，自我总结第 1 章 Hive 基本概念优缺点、架构（驱动器部分）、与数据库比较1） hive 简介Hive：由 Facebook 开源用于解决海量结构化日志的数据统计工具。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 提供类 SQL 查询功能。2） Hive 本质：将 HQL 转化成 MapReduce 程序（1）
转载
2023-09-11 13:15:26
47阅读
hadoop工作流程，用两张简单的map， reduce图来解释一下，主要集中讲述hadoop shuffle map阶段 reduce阶段：
转载
2023-04-20 15:31:03
70阅读
目录一、Yarn的组件和作用1、ResourceManager2、NodeManager3、ApplicationMaster4、Container二、Yarn的job提交流程1、客户端提交作业，申请jobID2、ResourceManager返回一个jobID，并将存放资源的HDFS路径返回给客户端3、客户端把运行作业的资源上传到RM返回的HDFS路径上，上传内容为jar包、配置信息、分片信息
转载
2023-07-12 15:12:03
94阅读
yarn是什么？1、它是一个资源调度及提供作业运行的系统环境平台 资源：cpu、mem等 作业：map task、reduce Taskyarn产生背景？它是从hadoop2.x版本才引入1、hadoop1.x版本它是如何资源调度及作业运行机制原理a、JobTracker（主节点） （a）：接受客户端的作业提交 （b）：交给任务调度器安排任务的执行 （c）：通知空闲的TaskTracker去处理
原创
2021-06-03 13:26:10
485阅读
HDFS文件存储系统，负责文件的上传与下载，包含NameNode（一个）和DataNode（多个）两个部分，其中，NameNode存储的是源文件，即文件的存放位置，根据这个位置定位到节点；而DataNode才是真正负责存储数据文件的节点； mapreduce计算引擎，启动工作任务对数据进行加工和处理 ...
转载
2021-09-17 02:58:00
169阅读
2评论
HDFS作为Hadoop的分布式文件系统，其在大数据平台当中的地位是显而易见的。面对越来越大规模的数据存储任务，HDFS的高可靠性和高性能依然值得称赞，这也与HDFS的数据读写机制有关。今天的大数据开发分享，我们具体来讲讲HDFS数据写入流程。HDFS数据写入客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后客户端按顺序将文件逐个
转载
2023-07-24 10:56:04
32阅读
MapReduce是什么？ Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成地大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别地海量数据集。MapReduce工作机制Mapreduce 的4个对象1、客户端：编写mapreduce程序，配置任务，提交任务。2、JobTracker：初始化作业，分配作业，与
转载
2023-09-01 08:15:44
66阅读
1．流程示意图，如图4-6，4-7所示 图4-6 MapReduce详细工作流程（一） 图4-7 MapReduce详细工作流程（二） 2．流程详解 上面的流程是整个MapReduce最全工作流程，但是Shuffle过程只是从第7步开始到第16步结束，具体Shuffle过程详解，如下： 1）MapT
转载
2020-07-18 22:20:00
200阅读
2评论
最近小编的一位朋友小华学习了hiveSQL的一些常见场景及应用，也通过很多示例做了大量练习， 在心态上有一点小飘了，于是前两天去面试了一家大数据公司。 面试官一开始也是给面子，问了hiveSQL操作窗口函数的两道SQL题，小华都毫无疑问做出来了，心里正美着的时候，面试官来了hive的灵魂三问：hiv ...
转载
2021-10-13 15:07:00
134阅读
2评论
MapReduce流程 MapReduce流程1.MapReduce架构2.简述MapReduce工作流程3.深入MapReduce工作流程1.Map TaskMap Task工作流程Collect过程Spill过程Combine过程2.Reduce TaskReduce Task工作流程Shuffle和Merge过程Sort和Reduce过程4.Shuffle阶段涉及的两次排序1.map端的快速
转载
2023-08-31 20:27:07
109阅读
Openstack入门精讲之架构详解-----轻松过面试，高薪不是梦！！！一、OpneStack 概念架构二、OpenStack 逻辑架构三、OpenStack组件通信关系四、OpenStack 物理架构1、网络节点 一、OpneStack 概念架构 全局组件： 身份认证服务（Keystone）、计量服务（Ceilometer）与控制面板服务（Horizon）核心组件： OpenStack 中创
转载
2023-08-02 21:08:41
229阅读
1.工作流程 1.1.产品 1.1.1.流程图 draw.io 1.1.2.XMind ZEN 1.1.3.axure rp产品原
原创
2022-08-29 16:46:04
257阅读
本文出自Simmy的个人blog：西米在线 http://simmyonline.com/archives/409.html
公司用的是CA的Unicenter Service Desk 。
Service Desk的作用，一方面可作为IT理清内部工作流程的一个工具，也可作为衡量IT工作绩效及反映IT服务质量的一个评估方法。理论上说，结合ITIL会能优化IT流程
原创
2009-07-13 18:55:09
7693阅读
点赞
23评论
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hadoop部分补充。
转载
2021-09-22 15:22:42
355阅读
yarn简介Yarn的全称为（Yet Another Resource negotiator）是hadoop目前内置的资源管理器。其实它的名字很好地描述了Yarn实际上是做什么的。从根本上上说Yarn是为工作在现有的和新的Hadoop集群上而设计的资源调度器。将资源调度从MapReduce数据流中分离出来。 在较高的层次上，可以把Yarn看成是一个集群的操作系统，它为应用程序提供了基本的服务来更
最近开始回顾，整个mapreduce的工作原理，虽然知道mr是如何工作的，但想想还是将其落地成文字，写成博客比较好，在写的过程中，同时也是重新缕了一下自己的思路，也锻炼了自己的表达能力。Mapreduce简介Hadoop MapReduce 源于Google在2004年12月份发表的 MapReduce论文。Hadoop MapReduce 其实就是Google MapReduce的一个克隆版本。
用流水线可表示任务执行流程如下：input(k1,v1) -> map -> (k2,v2) -> combine -> shuffle(partitioner) -> sort -> (k2,v2) -> reduce -> (k3,v3) ->output 接着来段大白话，聊一聊：
