从采集系统中收集了大量的原始数据后，数据只有被整合和计算，才能被用于洞察商业规律，挖掘潜在信息，从而实现大数据价值，达到赋能于商业和创造价值的目的；面对海量的数据和复杂的计算，阿里的数据计算层包括两大体系：数据存储及计算平台（离线计算凭他 MaxCompute、实时计算平台 StreamCompute）、数据整合及管理体系（OneData）； 一、数据开发平台阿里数据岗位工作：了解需求—
转载
2023-05-29 22:32:51
422阅读
Spark是一个实时处理框架 Spark提供了两套实施解决方案：Spark Streaming（SS）、Structured Streaming（SSS） 然后再结合其它框架：Kafka、HBase、Flume、Redis 项目流程：架构分析、数据产生、数据采集、数据收集、数据实时交换、实时流处理、 ...
转载
2021-10-14 10:27:00
758阅读
点赞
2评论
在大数据领域，Hadoop无疑是炙手可热的技术。作为分布式系统架构，Hadoop具有高可靠性、高扩展性、高效性、高容错性和低成本的优点。然而，随着数据体量越来越大，实时处理能力成为了许多客户需要面对的收腰挑战。Hadoop的MapReduce是一个批处理计算框架，在实时计算处理方面显得十分乏力。Hadoop生态圈终于迎来了实时流处理框架。除了实时性，流处理可以处理更复杂的任务，能够以低延时执行大部
1.大数据的概念维基百科的定义： 大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。2.大数据主流技术数据采集：使用Flume，可进行流式日志数据的收集。使用Sqoop可以交互关系型数据库，进行导入导出数据。使用爬虫技术，可在网上爬取海量网页数据。数据存储与管理： 大数据利用分布式文件系统HDFS、HBase、Hive，实现对结构
转载
2023-06-10 20:57:59
693阅读
很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：498856122，有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系。
原创
2019-05-10 10:48:29
2276阅读
阿里巴巴集团离线大数据处理平台介绍上周报名参加了2013阿里巴巴暑期学校，课程为期两天，主要介绍阿里巴巴离线大数据处理平台（开放数据处理服务ODPS）。这里通过博客形式与大家分享一下。暑期学校官网：http://102.alibaba.com/competition/dataSummer.htm备注：该课程面向各高校院所的在读研究生，属于公开课程，且主要介绍系统的基本架构，并未对实现细节做过多阐述
流处理和批处理概念sparkstreaming所做的是微批处理（每隔几秒处理一次），而flink做的是流处理（每一条数据都会处理一次）；批处理的数据大小固定，数据可以直接在hdfs上看到 流处理是不断有数据过来的，是7*24小时不断运行的，但是数据量是可以预估的，一秒十条，整体一小时可以预估到批处理可以做很多复杂的业务，开窗、分组聚合什么都可以，流处理只能做简单的操作，但是flink可以做一些复杂
转载
2023-08-18 10:54:56
91阅读
# 大数据实时处理和离线处理架构
在当今数字化时代，各种类型的数据不断涌现，如何高效地处理这些海量数据成为了一个关键问题。大数据处理是一个涉及到数据的采集、存储、处理和分析的全过程。为了更好地应对各种数据处理需求，大数据处理架构应运而生。其中，实时处理和离线处理是两种常见的大数据处理方式。
## 实时处理
实时处理也称为流式处理，是指对数据进行实时处理和分析，以便在数据产生后的短时间内就能得
原创
2023-07-07 11:33:47
195阅读
实时计算框架Flink的介绍
原创
2023-06-01 17:13:37
104阅读
大数据处理流程
上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面将逐一对各个环节所需要的技术栈进行讲解： 数据采集目前中大型项目通常采用微服务架构进行分布式部署，数据的采集需要在多台服务器上进行，且采集过程不能影响正常业务的开展。基于这种需求，就衍生了多种日志收集工具，如 Flume 、Logst
转载
2023-08-07 23:37:40
0阅读
第5章 实时技术 在大数据系统中，离线批处理技术可以满足非常多的数据使用场景需求，但在 DT 时代， 每天面对的信息是瞬息万变的，越来越多的应用场景对数据的时效性提出了更高的要求。数据价值是具有时效性的，在一条数据产生的时候，如果不能及时处理并在业务系统中使用，就不能让数据保持最高的“新鲜度”和价值最大化。因此阿里巴巴提出了流式实时处理技术来对离线批处理技术进行补充。 流式数据处理一般具有一下特
常用Output操作1）目前代码经过一系列复杂的操作后，结果是输出在控制台上的，仅测试使用。我们的结果是要写到一个地方去的。2）官网：Spark Streaming - Spark 3.2.0 Documentation (apache.org)
3）输出操作，允许DStream数据，推送至外部的系统，比如说数据库或文件系统。4）输出操作，允许通过外部系统消费transformed数据。5）pri
转载
2023-06-19 06:53:10
101阅读
Flink 入门什么是FlinkApache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架Flink 官网Flink 的发展历史d Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。该项目是柏林工业大学的一个研究性项目。早期，Flink 是做 Batch 计算的，但是在 2014 年， StratoSphere 里面的核心成员孵化出
背景自google发布3篇GFS,BigTable,MapReduce已过去近20年之久，市面上针对大数据治理方案也层出不穷，但大数据实时依旧是一项很难得技术。其主要表现在如下方面：（1）需求实现很难。对数据使用的用户持续增长，用户需求复杂多变，而这种复杂的需求实现又局限于目前的大数据生态，几乎没有某一个组件能解决几乎所有用户需求场景，依旧需要灵活的组合各大数据组件来实现。（2）实时存储很难。随着
Spark Streaming实现实时流处理一、Streaming与Flume的联调Spark 2.2.0 对应于 Flume 1.6.0 两种模式： 1. Flume-style push-based approach：
Flume推送数据給Streaming
Streaming的receiver作为Flume的Avro agent
Spark workers应该跑在Flum
介绍概述 Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执行模型（streaming execution model），能够支持流处理和批处理两种应用类型。由于流处理和批处理所提供的SLA(服务等级协议)是完全不相同， 流处理一般需要支持低延迟、Exactly-once
Spark是一个实时处理框架Spark提供了两套实施解决方案：Spark Streaming（SS）、Structured Streaming（SSS）然后再结合其它框架：Kafka、HBase、Flume、Redis 项目流程：架构分析、数据产生、数据采集、数据收集、数据实时交换、实时流处理、结果可视化、调优1）【项目启动】架构分析2）【环境部署】基础开发环境搭建2）【数据产生】3）【
目录数分分布式Apache ZooKeeperApache HadoopShell 命令选项数据仓库Hive 数分数据分析的目的是把隐藏在数据背后的信息集中和提炼出来，总结出所研究 对象的内在规律，帮助管理者进行有效的判断和决策。 目的：提炼信息，找出规律，辅助决策 作用：现状分析、原因分析、预测分析 分析步骤：明确分析目的-数据收集-数据预处理-数据分析-展示-报告撰写数据收集：公开、数据库、
转载
2023-09-02 09:43:08
56阅读
1. Spark 的运行流程？Spark运行流程具体运行流程如下：SparkContext 向资源管理器注册并向资源管理器申请运行 Executor资源管理器分配 Executor，然后资源管理器启动 ExecutorExecutor 发送心跳至资源管理器SparkContext 构建 DAG 有向无环图将 DAG 分解成 Stage（TaskSet）把 Stage 发送给 TaskSchedul
1.执行计划2.资源规划3.缓存调优4.CPU调优5.语法优化6.数据倾斜6.1 数据倾斜现象1、现象绝大多数task运行速度很快，但是就是有那么几个task任务运行极其缓慢，慢慢的可能就会报内存溢出异常。2、原因数据倾斜一般发生在shuffle类的算子，比如distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup等，涉及到数据重分区，
