一、概述 上次写这篇文章文章的时候，Spark还是1.x，kafka还是0.8x版本，转眼间spark到了2.x，kafka也到了2.x，存储offset的方式也发生了改变，笔者根据上篇文章和网上文章，将offset存储到Redis，既保证了并发也保证了数据不丢失，经过测试，有效。二、使用场景Spark Streaming实时消费kafka数据的时候，程序停止或者Kafka
转载
2023-11-25 17:49:20
54阅读
sparkstreaming用redis管理偏移量 RedisUtils.scala import java.io.FileInputStream import java.util.Properties import redis.clients.jedis.{Jedis, JedisPool, ...
转载
2021-08-09 10:57:00
257阅读
2评论
黄文辉同学第二篇，请大家支持！其他相关文章：怎么快速提高技术？一万小时定律sqoop数据导入总结元数据的作用元数据概念基于元数据驱动的ETLHive元数据表结构详解1.SparkStreaming简介SparkStreaming属于核心SparkAPI的扩展,支持实时数据流的可扩展、高吞吐、容错的流处理。可以接受来自Kafka、Flume、ZeroMQ、Kinesis、Twitter或TCP套接字
原创
2021-03-16 22:04:39
2109阅读
官网介绍Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault-tolerant strearom many sources like ...
原创
2022-10-31 12:24:20
149阅读
SparkStreaming 是流式处理框架，是 Spark API 的扩展，支持可扩展、高 吞吐量、容错的实时数据流处理，实时数据的来源可以受
原创
2022-07-01 17:39:16
123阅读
实时计算 spark是微批处理， 每隔一段时间处理一次 flink 实时处理，每一条数据都会处理 将接收过来的数据，封装成一个rdd，执行rdd的计算 有状态算子 updataStateBykey 需要开启checkpoint,(需要保存之间计算的结果) reduceBykeyAndWindow 统 ...
转载
2021-08-31 16:56:00
148阅读
2评论
SparkStreaming 概述Spark Streaming 是什么sparkStreaming 用于流式数据处理，Spark Streaming 支持的数据输入源有很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。而结果也能保存在很多地方，如HDFS，数
原创
2024-10-17 21:07:42
94阅读
Spark Streaming类似于Apache Storm，用于流式数据的处理。所谓流式处理其实指的就是实时数据，之前的spark都是处理离线数据的，就是直接处理数据文件，而streaming是一直检测数据，数据出来一条，处理一条。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Tw
转载
2023-10-23 06:59:57
65阅读
目录：一、Spark Streaming是什么二、Spark Streaming的A Quick Example三
原创
2022-12-28 15:10:40
137阅读
1、reduceByKey reduceByKey 是按key进行计算，操作的数据是每个批次内的数据（一个采集周期），不能跨批次计算。如果需要实现对历史数据的跨批次统计累加，则需要使用updateStateByKey算子或者mapWithState算子。package com.sparkscala.streaming
import org.apache.log4j.{Level, Logger
转载
2024-03-02 08:57:29
28阅读
updateStateByKey算子需求：统计到目前为止累积出现的单词的个数(需要保持住以前的状态)java.lang.IllegalArgumentException: requirement failed: The che
原创
2022-09-18 02:14:14
128阅读
DStream的转化操作分为无状态 和有状态 两种
在无状态转化操作中，每个批次的处理不依赖于之前批次的数据。
有状态转化操作需要使用之前批次的数据或者中间结果来计算当前批次的数据，有状态转化操作包括基于滑动窗口的转化操作和追踪状态变化的转换操作。
无状态转化
无状态转化操作的实质就说把简单的RDD转化操作应用到每个批次上，也就是转化DStream的每一个RDD
Transform算子
Tra
转载
2021-02-13 20:14:00
211阅读
2评论
SparkStreaming提供了窗口的计算,它允许你对数据的滑动窗口应用转换。基于窗口的操作会在一个比StreamingContext的批次间隔更长的时间范围内，通过整合多个批次的结果，计算出整个窗口的结果。下图说明了滑动窗口计算。
原创
2021-07-13 18:05:36
533阅读
import java.sql.DriverManagerimport org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.{SparkConf
SparkStreaming 介绍 流式计算框架 批计算 数据已经存在, 一次性读取所有的数据进行批量处理 流计算 数据源源不断的进来, 经过处理后落地 特点 Spark Streaming 会源源不断的处理数据, 称之为流计算 Spark Streaming 并不是实时流, 而是按照时间切分小批量
原创
2021-07-20 09:33:16
211阅读
/** * transform : * 1).DStream的Transformation算子，可以获取DStream中的RDD，对RDD进行RDD的Transformation类算子转换，也可以使用
原创
2022-07-01 17:29:27
116阅读
做个笔记，记录streaming任务执行的整个流程，下文使用的源码是master分支的代码，1.2.1版本已经发布，应该和1.2.1差别不大1、streaming程序是从StreamingContext.start()开始的，做一个必要的参数检查然后启动 jobschedulerStreamingContext.scaladef start(): Unit =&nbs
原创
2015-03-06 17:26:57
1267阅读
