1.Apache Kafka 是什么？其适应场景主要有：Kafka 是一个分布式的流式处理平台，用于实时构建流处理应用。主要应用在大数据实时处理领域。它有一个核心的功能广为人知，即作为企业级的消息引擎被广泛使用。Kafka 凭借「高性能」、「高吞吐」、「高可用」、「低延迟」、「可伸缩」几大特性，成为「**消息队列」**的首选。其主要设计目标如下：1）**高性能：**以时间复杂度为 O(1) 的方式
转载
2024-03-07 10:25:44
41阅读
一，kafka是什么 kafka是一个分布式的发布-订阅消息系统，能够支持海量的数据传递，在高效和实时的消息处理业务系统中，kafka都有广泛应用，kafka将消息持久化到磁盘中，并且创建了备份保存了数据的安全，kafka在保证了较高的处理速度的同时，又能保证数据处理的低延迟和数据的零丢失。二，特性 1、高吞吐量，低延迟：kafka每秒可以处理几十万条数据，他的延迟最低只有几毫秒，每个主题可以
转载
2024-05-08 11:52:19
40阅读
spark与kafka的介绍
一 spark是什么
hadoop MapReduce：从集群中读取数据，分片读取 进行一次处理，将结果写到集群，从集群中读取更新后的数据，进行下一次的处理，将结果写到集群
Spark ：从集群中读取数据，把数据放入到内存种，完成所有必须的分析处理，将结果写回集群。数据挖掘要比hadoop快100倍
Spark的数据对象存储在分布于数据集群中的叫做弹性分布式数据集，
转载
2023-08-13 19:26:44
240阅读
本系列内容：Kafka环境搭建与测试Python生产者/消费者测试Spark接收Kafka消息处理，然后回传到KafkaFlask引入消费者WebSocket实时显示版本：spark-2.4.3-bin-hadoop2.7.tgzkafka_2.11-2.1.0.tgz------------------第3小节：Spark接收Kafka消息处理，然后回传到Kafka---------------
转载
2023-08-22 20:24:39
75阅读
Kafkakafka是一个高吞吐的分布式消息队列系统。特点是生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据。消息列队常见场景：系统之间解耦合、峰值压力缓冲、异步通信。producer : 消息生产者consumer : 消息消费之broker : kafka集群的server，负责处理消息读、写请求，存储消息，在kafka cluster这一层这里，其实里面是有
转载
2024-01-16 04:31:12
65阅读
文章目录Streaming和Kafka整合概述使用0.8版本下Receiver DStream接收数据进行消费步骤一、启动Kafka集群二、创建maven工程，导入jar包三、创建一个kafka的topic四、启动kafka的Producer五、开发代码使用0.8版本下Direct DStream接收数据进行消费开发代码使用0.10版本下Direct DStream接收数据进行消费注意事项步骤一、
转载
2023-12-12 08:50:07
39阅读
一、简介kafka是一个高吞吐的分布式消息队列系统。特点是生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据。消息列队常见场景：系统之间解耦合、峰值压力缓冲、异步通信。Kafka架构是由producer（消息生产者）、consumer（消息消费者）、borker(kafka集群的server，负责处理消息读、写请求，存储消息，在kafka cluster这一层这里，
转载
2023-11-26 13:40:54
78阅读
sparkstreaming 与 kafka重分区的场景应用昨天线上发现个bug，导致数据的重复，原因如下线上场景是二个sparkstreaming程序。程序1主要是用来接收数据放入kafka集群，程序2读取数据进行处理，redis数据缓存。因为数据量很大，所以在程序1上先用reduceByKey去重。程序1发送使用的是Avro序列化对象，要把固定条数一批数据都放在一个Avro对象然后传输到Kaf
转载
2023-11-20 11:38:56
116阅读
了解了spark编程的基本概念，可以看出spark编程都是围绕着RDD进行的。关于编程的基础知识，可以参看
Spark1.0.0 编程模型
。
spark目前支持scala、python、JAVA编程。
作为spark的原生语言
转载
2023-09-11 22:45:07
185阅读
Scala语言scala2.10兼容的spark是1.6 scala2.11兼容的spark是2.x spark底层源码就是scala来写的 ①Scala语言是一门类似Java的多范式语言，它就是在Java基础上发展起来的。scala是基于JVM的语言，是运行于Java虚拟机之上的，可以兼容现有的所有Java程序scala可以和Java无缝整合。即可以在scala中调用java的包和类；
转载
2023-10-23 09:34:10
49阅读
在python中编写spark的程序，需要安装好Java、spark、hadoop、python这些环境才可以，spark、hadoop都是依赖Java的，spark的开发语言是Scala，支持用Java、Scala、python这些语言来编写spark程序，本文讲述python语言调用pyspark的安装配置过程，文中的Java版本是Java SE10.0.1，spark版本是2.3.1，pyt
转载
2023-10-17 16:49:03
184阅读
(1)、如何实现sparkStreaming读取kafka中的数据 在kafka0.10版本之前有二种方式与sparkStreaming整合，一种是基于receiver，一种是direct,然后分别阐述这2种方式分别是什么 receiver：是采用了kafka高级api,利用receiver接收器来接受kafka topic中的数据，从kafka接收来的数据会存储在spark的executor中，
转载
2023-11-28 13:42:47
58阅读
Kafka 0.10 与 Spark Streaming 流集成在设计上与0.8 Direct Stream 方法类似。它提供了简单的并行性，Kafka分区和Spark分区之间的1:1对应，以及对偏移量和元数据的访问。然而，由于新的集成使用了新的 Kafka consumer API 而不是简单的API，所以在使用方面有显著的差异。这个版本的集成被标记为实验性的，因此API有可能发生变
转载
2023-11-29 12:44:59
50阅读
对接kafka 0.8以及0.8以上的版本Spark要在2.3.0一下选择较好，因为这个Spark对接kafka用这个比较稳定，1.0还是测试 导入依赖<dependency>
<groupId>org.apache.spark</groupId>
<!--0.8是kafka的版本，2.11是scala的版本
转载
2023-09-05 10:51:57
152阅读
1：Direct方式特点：1）Direct的方式是会直接操作kafka底层的元数据信息，这样如果计算失败了，可以把数据重新读一下，重新处理。即数据一定会被处理。拉数据，是RDD在执行的时候直接去拉数据。2）由于直接操作的是kafka，kafka就相当于你底层的文件系统。这个时候能保证严格的事务一致性，即一定会被处理，而且只会被处理一次。而Receiver的方式则不能保证，因为Receiver和ZK
转载
2023-12-23 17:45:13
51阅读
Reciver方式 spark streaming通过Reciver方式获取kafka的数据实质是：在spark程序的Executor中开Reciver来接收来自kafka的数据，然后spark streaming会启动job去处理这些数据。 因为这些数据是存在内存中的，所以这种方式会容易丢失数据，如果要启用高可靠机制，让数据零丢失，就必须启用Spark Streaming的预写日志机制（Writ
转载
2023-08-05 00:45:26
162阅读
对于消息中间件的前期调研：ActiveMQ RabbitMQ（中小型软件公司）
转载
2024-03-26 09:45:30
66阅读
pyspark streaming6.1官方文档:http://spark.apache.org/docs/latest/api/python/pyspark.streaming.html#pyspark.streaming.StreamingContext.checkpointstreaming 滑动窗口介绍：http://ju.outofmemory.cn/entry/96018目
转载
2023-07-06 19:36:32
163阅读
Spark 开发原则坐享其成要省要拖跳出单机思维 应用开发原则 ：坐享其成 : 利用 Spark SQL 优化能省则省、能拖则拖 : 节省数据量 , 拖后 Shuffle跳出单机思维 : 避免无谓的分布式遍历坐享其成设置好配置项，享受 Spark SQL 的性能优势，如钨丝计划、AQE、SQL functions钨丝计划：Tungsten 自定义了紧凑的二进制格式的数据结构，避免了 Java 对
转载
2024-01-28 01:18:02
100阅读
点赞
spark集群是依赖hadoop的。 hadoop集群搭建教程：Hadoop集群搭建教程（一）Hadoop集群搭建教程（二）Spark集群集群部署官网下载：spark官网这里要注意spark兼容的hadoop版本 接着解压：tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz先在你的master节点进行spark的安装和配置，然后直接拷贝到其他节点就可以了。cd /usr
转载
2024-04-20 10:49:47
18阅读
