1. MapReduce 与 HDFS 简介 什么是 Hadoop ？ Google 为自己的业务需要提出了编程模型 MapReduce 和分布式文件系统 Google File System，并发布了相关论文（可在 Google Research 的网站上获得：GFS、MapReduce）。Doug Cutting 和 Mike Cafarella 在开发搜索引擎 Nutch 时对这两篇论文
转载
2023-11-18 23:33:44
104阅读
一、Shuffle机制Mapreduce确保每个reducer的输入都是按键排序的。系统执行排序的过程（即将map输出作为输入传给reducer）称为shuffle。二、MapReduce工作流程1.图示流程2.流程详解上面的流程是整个mapreduce最全工作流程，但是shuffle过程只是从第7步开始到第16步结束，具体shuffle过程详解，如下：1）maptask收集我们的map()方法输
转载
2023-08-28 17:44:04
120阅读
1.先说说什么是Hadoop？ 个人理解：一个分布式文件存储系统+一个分布式计算框架，在其上还有很多的开源项目来丰富他的功能，如Hbase,hive等等。官方：Hadoop是一个用Java编写的开源系统，可安排在大规模的计算平台上，从而提高计算效率。本质上它只是一个海量数据处理平台架构。2.Hadoop与MapReduce，有什么关系？ Hadoop生态圈的三个工具：第一，Hbas
转载
2023-09-13 10:46:45
704阅读
Hadoop简介Hadoop 是Apache 软件基金会旗下的开源平台可支持多种编程语言——跨平台Hadoop两大核心——HDFS+MapReduce 集群分布式处理大型公司都在用。Hadoop具有可靠性Hadoop具有高效性Hadoop具有很好的可扩展性Hadoop具有高容错性Hadoop具有成本低Hadoop的不同版本Apache Hadoop Hadoop1.0 HDFS 与 MapRedu
转载
2023-07-12 21:05:00
109阅读
kafaka简介 kafka之前是有LinkedIn开发并开源的，LinkedIn之前也开源过很多系统，比如下面：1. 分布式数据同步系统Databus，是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。它可以将来源无关的数据同步，比如我们项目有很多数据来源，那么我们可以将这些数据同步到同一个地方去。2. 高性能计算引擎Cubert。3. jav
转载
2023-10-14 22:46:05
50阅读
序言基于官网教程整理的一个教程。基于Flink1.12.0版本。目前该版本的Flink支持的source与sink如下所示参考资料：
https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/try-flink/index.html
转载
2023-09-27 17:35:38
77阅读
1. 什么是流处理一种被设计来处理无穷数据集的数据处理系统引擎2. 流处理的几个概念1. 无穷数据（Unbounded data）：一种持续生成，本质上是无穷尽的数据集。它经常会被称为“流数据”。然而，用流和批次来定义数据集的时候就有问题了，因为如前所述，这就意味着用处理数据的引擎的类型来定义数据的类型。现
转载
2023-08-15 14:52:47
118阅读
Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构，大数据处理引擎尽可能的靠近存储，对例如像ETL这样的批处理操作相对合适，因为类似这样操作的批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打碎，并将碎片任务发送(Map)到多个节点上，之后再以单个数据集的形式加载(Reduce)到数据仓库
转载
2023-06-19 14:13:18
212阅读
1 面试官：请简短的做个自我介绍。面试官，您好！我叫 xxx , xxxx 年 x 月毕业于 xxx 学校，xx 学历，目前就职于 xxx 公司 xxx 部门，职位为：大数据开发工程师，主要从事于 Flink 流计算组件、平台的开发工作。工作以来，我先后参加了 xxx 项目、xxx 项目以及 xxx 项目，积累了丰富的项目经验，同时，这 x 个项目都得到了领导的一致好评。我对流计算组件有着浓厚的兴
转载
2023-09-05 15:49:09
72阅读
海量数据价值的挖掘，需要大数据技术框架的支持，在目前的大数据平台搭建上，Hadoop是主流的选择之一，而精通Hadoop的大数据人才，也是企业竞相争取的专业技术人才。大数据技术Hadoop所得到的重视，也带来了大家对Hadoop的学习热情。今天我们就从大数据入门的角度，来分享一下Hadoop是如何工作的。 Hadoop最初由雅虎的Doug Cutting创建，其核心的灵感，就是MapReduce，
转载
2023-09-14 13:44:27
0阅读
Hadoop MapReduce的数据处理过程 Hadoop MapReduce作为一个大数据处理工具，非常的好用，但是如果我只需要单机处理不是特别庞大的数据，比如4G的查询日志，那么在没有现成环境的情况下，搭起来一个Hadoop环境还是挺烦的，直接用C/Java写一个简单的单机多进程Map Reduce数据处理工具岂不是更方便？为了实现这个目标，我们首先要研究一下Map Reduce是如何工
转载
2023-07-27 23:58:17
110阅读
终极Hadoop大数据教程包含 MapReduce、HDFS、Spark、Flink、Hive、HBase、MongoDB、Cassandra、Kafka 等的数据工程和 Hadoop 教程！课程英文名：The Ultimate Hands-On Hadoop - Tame your Big Data!此视频教程共17.0小时，中英双语字幕，画质清晰无水印，源码附件全下载地址课程编号：307 百度
转载
2023-11-17 20:37:23
232阅读
一、Hadoop生态系统的演进与核心架构 在大数据技术发展史上，Hadoop始终扮演着重要角色。从最初的MapReduce单一体系，到如今YARN、HDFS、ZooKeeper等组件构成的复杂生态，其
一、Spark 基础知识1.1 Spark 简介 Spark是专为大规模数据处理而设计的快速通用的计算引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等。1.2 核心概念介绍Spark常用术语介绍Application: Spark的应用程序，包含一个Driver program和若干ExecutorSparkContex
转载
2023-08-13 23:03:10
190阅读
Spark Streaming的流数据处理和分析 Spark读写Kafka一、流是什么二、Spark Streaming1、简介2、流数据处理框架3、内部工作流程三、StreamingContext Spark Streaming读kafa数据1、创建2、入门 Spark Streaming读kafa数据示例无状态流处理有状态流处理四、Spark Streaming 写数据到kafka对Kafk
转载
2023-11-09 14:52:30
70阅读
# Android流数据处理入门指南
在现代的Android开发中，流数据处理是一项非常重要的技能。流数据处理涉及到从固定或动态数据源实时获取并处理数据。这一过程常用于网络请求、传感器数据处理等场景。本文将带你一步一步了解如何在Android中实现流数据处理。
## 流程概述
以下是流数据处理的基本流程：
| 步骤 | 描述 |
|------|------|
| 1 | 确定数据源
# 流数据处理架构入门指南
作为一名刚入行的开发者，你可能对流数据处理架构感到陌生。不用担心，本文将为你提供一份详细的入门指南，帮助你快速掌握流数据处理的基础知识。
## 流数据处理架构流程
流数据处理架构通常包括以下步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 数据源接入 |
| 2 | 数据采集 |
| 3 | 数据传输 |
| 4 | 数据处理 |
| 5
原创
2024-07-18 13:28:59
35阅读
# Java流数据处理
在Java编程中，流数据处理是一种处理数据集合的方式，它可以帮助我们更高效地操作大量的数据。在Java 8之后，引入了Stream API，它提供了丰富的API方法，可以让我们以一种更加函数式的方式来处理数据。
## 什么是流数据处理
流数据处理是一种基于数据集合的处理方式，它允许我们以更简洁、更清晰的方式来处理数据。在传统的数据处理中，我们通常需要使用循环来遍历数据
原创
2024-05-18 06:25:23
36阅读
该文章为lagou学习记录笔记，里面的资源和内容来自lagou，作为大数据菜鸡，如果内容部分有错误还请各位大佬指出并纠正，谢谢?大数据技术解决的是什么问题？大数据技术解决的主要是海量数据的存储和计算 大数据的定义：是指无法在一定时间内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式。 大数据的特点：5v（volumn–大量、velocity–高速、variety–多样、veracit
转载
2023-07-20 20:44:42
87阅读
入门简介： 本文是讨论 Hadoop 的系列中的第一篇。本文介绍 Hadoop 框架，包括 Hadoop 文件系统 (HDFS) 等基本元素和常用的节点类型。学习如何安装和配置单节点 Hadoop 集群，然后研究 MapReduce 应用程序。最后，学习使用核心 Web 界面监视和管理 Hadoop 的方法。尽管 Hadoop 是一些大型搜索引擎数据缩减功能的核心部分，但是它实际上是一个
