实时计算 spark是微批处理， 每隔一段时间处理一次 flink 实时处理，每一条数据都会处理 将接收过来的数据，封装成一个rdd，执行rdd的计算 有状态算子 updataStateBykey 需要开启checkpoint,(需要保存之间计算的结果) reduceBykeyAndWindow 统 ...
转载
2021-08-31 16:56:00
148阅读
2评论
SparkStreaming 概述Spark Streaming 是什么sparkStreaming 用于流式数据处理，Spark Streaming 支持的数据输入源有很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。而结果也能保存在很多地方，如HDFS，数
原创
2024-10-17 21:07:42
94阅读
黄文辉同学第二篇，请大家支持！其他相关文章：怎么快速提高技术？一万小时定律sqoop数据导入总结元数据的作用元数据概念基于元数据驱动的ETLHive元数据表结构详解1.SparkStreaming简介SparkStreaming属于核心SparkAPI的扩展,支持实时数据流的可扩展、高吞吐、容错的流处理。可以接受来自Kafka、Flume、ZeroMQ、Kinesis、Twitter或TCP套接字
原创
2021-03-16 22:04:39
2109阅读
官网介绍Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault-tolerant strearom many sources like ...
原创
2022-10-31 12:24:20
149阅读
SparkStreaming 是流式处理框架，是 Spark API 的扩展，支持可扩展、高 吞吐量、容错的实时数据流处理，实时数据的来源可以受
原创
2022-07-01 17:39:16
123阅读
SparkStreaming入门
原创
2021-07-14 10:41:49
123阅读
目录：一、Spark Streaming是什么二、Spark Streaming的A Quick Example三
原创
2022-12-28 15:10:40
137阅读
另外一个比较详细的博主链接 这是真大佬！Spark Streaming 和kafka 连接 利用的是kafkaUtil首先准备一部分初始代码：//创建SparkStreaming 对象
val conf: SparkConf = new SparkConf().setAppName("The Streaming wordCount").setMaster("local[3]")
转载
2024-05-15 12:12:19
75阅读
SparkStreaming 介绍 流式计算框架 批计算 数据已经存在, 一次性读取所有的数据进行批量处理 流计算 数据源源不断的进来, 经过处理后落地 特点 Spark Streaming 会源源不断的处理数据, 称之为流计算 Spark Streaming 并不是实时流, 而是按照时间切分小批量
原创
2021-07-20 09:33:16
211阅读
/** * transform : * 1).DStream的Transformation算子，可以获取DStream中的RDD，对RDD进行RDD的Transformation类算子转换，也可以使用
原创
2022-07-01 17:29:27
116阅读
SparkStreaming参数介绍
原创
2023-05-06 15:05:18
132阅读
# MySQL JSON 直接入库
MySQL是一种流行的关系型数据库管理系统，但在处理复杂数据结构时，传统的表结构可能有些局限性。JSON是一种轻量级的数据交换格式，具有灵活的数据结构和易读性，因此在MySQL中直接将JSON数据入库成为了一种趋势。
## MySQL JSON 数据类型
MySQL从5.7版本开始引入了JSON数据类型，使得可以直接在数据库中存储和查询JSON格式的数据。
原创
2024-06-30 03:35:14
36阅读
updateStateByKey算子需求：统计到目前为止累积出现的单词的个数(需要保持住以前的状态)java.lang.IllegalArgumentException: requirement failed: The che
原创
2022-09-18 02:14:14
128阅读
DStream的转化操作分为无状态 和有状态 两种
在无状态转化操作中，每个批次的处理不依赖于之前批次的数据。
有状态转化操作需要使用之前批次的数据或者中间结果来计算当前批次的数据，有状态转化操作包括基于滑动窗口的转化操作和追踪状态变化的转换操作。
无状态转化
无状态转化操作的实质就说把简单的RDD转化操作应用到每个批次上，也就是转化DStream的每一个RDD
Transform算子
Tra
转载
2021-02-13 20:14:00
211阅读
2评论
SparkStreaming提供了窗口的计算,它允许你对数据的滑动窗口应用转换。基于窗口的操作会在一个比StreamingContext的批次间隔更长的时间范围内，通过整合多个批次的结果，计算出整个窗口的结果。下图说明了滑动窗口计算。
原创
2021-07-13 18:05:36
533阅读
import java.sql.DriverManagerimport org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.{SparkConf
做个笔记，记录streaming任务执行的整个流程，下文使用的源码是master分支的代码，1.2.1版本已经发布，应该和1.2.1差别不大1、streaming程序是从StreamingContext.start()开始的，做一个必要的参数检查然后启动 jobschedulerStreamingContext.scaladef start(): Unit =&nbs
原创
2015-03-06 17:26:57
1267阅读
import org.apache.spark.SparkConfimport org.apache.spark.streaming.Secondsimport org.apache.spark.streaming.StreamingContextobject WordCount extends App { val conf=new SparkConf().setMaste
原创
2017-03-09 21:19:31
994阅读
项目架构：日志数据---->flume----->kafka-------->sparkstreaming---------->mysql/redis/hbase前置条件：安装zookeeper安装flume安装kafakhadoop实现高可用(1)实现flume收集数据到kafka启动kafak：nohupkafka-server-start.sh\/applicatio
原创
2019-01-07 21:50:45
3897阅读
黄文辉同学第三篇的总结，大家支持。sqoop数据导入总结SparkStreaming入门概述SparkStreaming提供了窗口的计算,它允许你对数据的滑动窗口应用转换。基于窗口的操作会在一个比StreamingContext的批次间隔更长的时间范围内，通过整合多个批次的结果，计算出整个窗口的结果。下图说明了滑动窗口计算。每个窗口时间滑动过originalDStream，落入窗口内的RDD合并并
原创
2021-03-16 22:10:19
885阅读
