在大数据领域，Hadoop无疑是炙手可热的技术。作为分布式系统架构，Hadoop具有高可靠性、高扩展性、高效性、高容错性和低成本的优点。然而，随着数据体量越来越大，实时处理能力成为了许多客户需要面对的收腰挑战。Hadoop的MapReduce是一个批处理计算框架，在实时计算处理方面显得十分乏力。Hadoop生态圈终于迎来了实时流处理框架。除了实时性，流处理可以处理更复杂的任务，能够以低延时执行大部
Spark是一个实时处理框架 Spark提供了两套实施解决方案：Spark Streaming（SS）、Structured Streaming（SSS） 然后再结合其它框架：Kafka、HBase、Flume、Redis 项目流程：架构分析、数据产生、数据采集、数据收集、数据实时交换、实时流处理、 ...
转载
2021-10-14 10:27:00
758阅读
点赞
2评论
很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：498856122，有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系。
原创
2019-05-10 10:48:29
2276阅读
1.大数据的概念维基百科的定义： 大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。2.大数据主流技术数据采集：使用Flume，可进行流式日志数据的收集。使用Sqoop可以交互关系型数据库，进行导入导出数据。使用爬虫技术，可在网上爬取海量网页数据。数据存储与管理： 大数据利用分布式文件系统HDFS、HBase、Hive，实现对结构
转载
2023-06-10 20:57:59
693阅读
实时计算框架Flink的介绍
原创
2023-06-01 17:13:37
104阅读
从采集系统中收集了大量的原始数据后，数据只有被整合和计算，才能被用于洞察商业规律，挖掘潜在信息，从而实现大数据价值，达到赋能于商业和创造价值的目的；面对海量的数据和复杂的计算，阿里的数据计算层包括两大体系：数据存储及计算平台（离线计算凭他 MaxCompute、实时计算平台 StreamCompute）、数据整合及管理体系（OneData）； 一、数据开发平台阿里数据岗位工作：了解需求—
转载
2023-05-29 22:32:51
422阅读
Flink 入门什么是FlinkApache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架Flink 官网Flink 的发展历史d Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。该项目是柏林工业大学的一个研究性项目。早期，Flink 是做 Batch 计算的，但是在 2014 年， StratoSphere 里面的核心成员孵化出
常用Output操作1）目前代码经过一系列复杂的操作后，结果是输出在控制台上的，仅测试使用。我们的结果是要写到一个地方去的。2）官网：Spark Streaming - Spark 3.2.0 Documentation (apache.org)
3）输出操作，允许DStream数据，推送至外部的系统，比如说数据库或文件系统。4）输出操作，允许通过外部系统消费transformed数据。5）pri
转载
2023-06-19 06:53:10
101阅读
大数据处理流程
上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面将逐一对各个环节所需要的技术栈进行讲解： 数据采集目前中大型项目通常采用微服务架构进行分布式部署，数据的采集需要在多台服务器上进行，且采集过程不能影响正常业务的开展。基于这种需求，就衍生了多种日志收集工具，如 Flume 、Logst
转载
2023-08-07 23:37:40
0阅读
1.执行计划2.资源规划3.缓存调优4.CPU调优5.语法优化6.数据倾斜6.1 数据倾斜现象1、现象绝大多数task运行速度很快，但是就是有那么几个task任务运行极其缓慢，慢慢的可能就会报内存溢出异常。2、原因数据倾斜一般发生在shuffle类的算子，比如distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup等，涉及到数据重分区，
1. Spark 的运行流程？Spark运行流程具体运行流程如下：SparkContext 向资源管理器注册并向资源管理器申请运行 Executor资源管理器分配 Executor，然后资源管理器启动 ExecutorExecutor 发送心跳至资源管理器SparkContext 构建 DAG 有向无环图将 DAG 分解成 Stage（TaskSet）把 Stage 发送给 TaskSchedul
1、 在主节点使用Flume采集/data_log目录下实时日志文件中的数据，将数据存入到Kafka的Topic中（Topic名称分别为ChangeRecord、ProduceRecord
思路如下：一个队列，提交的信息不断的放入队列；每隔一段时间定时提交一次，不管队列中元素是否达到预定的个数； 模拟程序的思路：开启两个线程，一个模拟数据提交；另一个模拟数据读取（取出来插入数据库）； 代码如下： Thread1.javapackage cn.zhangshibo.liaocheng.test;
import java.util.LinkedList;
随着互联网、移动互联网和物联网的发展，我们已经切实地迎来了一个大数据的时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，对大数据的实时分析已经成为一个非常重要且紧迫的需求。目前对大数据的实时分析工具，业界公认最佳为Spark。Spark是基于内存计算的大数据并行计算框架，Spark目前是Apache软件基金会旗下，顶级的开源项目，Spark作为MapReduce
背景自google发布3篇GFS,BigTable,MapReduce已过去近20年之久，市面上针对大数据治理方案也层出不穷，但大数据实时依旧是一项很难得技术。其主要表现在如下方面：（1）需求实现很难。对数据使用的用户持续增长，用户需求复杂多变，而这种复杂的需求实现又局限于目前的大数据生态，几乎没有某一个组件能解决几乎所有用户需求场景，依旧需要灵活的组合各大数据组件来实现。（2）实时存储很难。随着
介绍概述 Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执行模型（streaming execution model），能够支持流处理和批处理两种应用类型。由于流处理和批处理所提供的SLA(服务等级协议)是完全不相同， 流处理一般需要支持低延迟、Exactly-once
一、依赖环境安装1、jdk和scala依赖
原创
2022-04-22 13:47:46
421阅读
一、依赖环境安装1、jdk和scala依赖下载jdk1.8：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.htmlscala12.11：https://www.scala-lang.org/download/2、flink1.9.0下载flink官方中文文档：https://flink.apache.org/zh/downloads.htmlflink1.9.0安装包：https://...
原创
2021-08-26 09:18:02
1047阅读
《大数据的实时处理STORM简介》作者：chszs，转载需注明。博客主页
原创
2013-07-10 17:02:22
70阅读
download:Spark3大数据实时处理-Streaming+StructuredStreaming实战随着云计算和大数据的快速发展，在企业中大数据实时处理场景的需求越来越多。本课针对企业级实时处理方案进行全方位的讲解，基于Spark3，在同一个项目中，学习两套实时处理的解决方案：SparkStreaming和StructuredStreaming。在框架学习的基础上，不仅带你体验完整实时处理
原创
2021-02-16 00:38:55
791阅读
