Kafka 0.10 与 Spark Streaming 流集成在设计上与0.8 Direct Stream 方法类似。它提供了简单的并行性，Kafka分区和Spark分区之间的1:1对应，以及对偏移量和元数据的访问。然而，由于新的集成使用了新的 Kafka consumer API 而不是简单的API，所以在使用方面有显著的差异。这个版本的集成被标记为实验性的，因此API有可能发生变
转载
2023-11-29 12:44:59
50阅读
# Spark与Iceberg整合指南
作为一名刚入行的开发者，你可能会对如何将Apache Spark与Apache Iceberg进行整合感到困惑。不用担心，本文将为你提供一份详细的整合指南，帮助你快速上手。
## 整合流程
首先，让我们通过一个表格来了解整个整合流程的步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 添加依赖 |
| 2 | 初始化SparkSe
原创
2024-07-27 07:59:35
161阅读
Spark Streaming整合Kafka实战二Spark Streaming整合kafka的第二种方式1. Direct Approach (No Receivers)优点：缺点：2. 偏移量解决方案自动提交偏移量spark streaming 整合kafka1.0版本以下手动提交偏移量spark streaming 整合kafka1.0版本 Spark Streaming整合kafka的第
转载
2023-12-19 22:28:49
53阅读
基于Receiver 方式这个receiver是基于 Kafka high-level consumer API实现的。像其它的receivers一样，接收到的数据会放到spark的executor里面，然后sparkstreaming程序启动任务处理数据。直接方法，没有receiver这个方法是spark1.3引进的，现在都是spark2.0版本了，看样会一直延续下去了。这个的引入是为了保证端对
转载
2023-11-27 10:01:24
30阅读
hadoop和Spark是两种不同的大数据生态系统，Hadoop框架比较侧重离线大批量计算，而spark框架则侧重于内存和实时计算。在这些基础上，衍生出了一些常用的附属组件，比如Hadoop生态下的HBASE、hive、HDFS等，HDFS可用于数据存储，MR可用于分布式计算框架。同样，在spark的基础上也衍生出了很多组件，比如spark streaming、spark SQL、mllib等。其
转载
2023-07-13 16:30:57
69阅读
Spark on Hive
原创
精选
2023-10-17 16:18:36
532阅读
点赞
前言之前因为仅仅是把HBase当成一个可横向扩展并且
原创
2023-03-11 09:54:35
93阅读
前期准备：1.默认已经搭建好了hadoop环境（我的hadoop版本是2.5.0） 2.这里我用的Hbase是0.98.6，spark是1.3.0一、搭建Hbase1、上传Hbase安装包，将/opt/software下的hbase安装包解压到/opt/app目录下 2、进入hbase目录下，修改配置文件 1>修改hbase-env.sh文件 将export J
转载
2024-03-11 07:23:53
38阅读
Spark Streaming整合HDFS与Spark SQL
原创
精选
2023-10-17 16:31:53
503阅读
需要实现的功能：写访问spark的接口，也就是从web上输入网址就能把我们需要的信息通过提交一个job然后返回给我们json数据。成果展示：通过url请求，然后的到一个wordcount的json结果（借助的是谷歌浏览器postman插件显示的，直接在浏览器上输入网址是一样的效果） 使用的关键技术：java语言编程，springmvc框架，tomcat容器，spark框架，scala相关依赖成体架
转载
2023-09-19 06:09:19
56阅读
Spark整合yarn原因：在公司一般不适用standalone模式，因为公司一般已经有yarn 不需要搞两个资源管理框架停止spark集群在spark sbin目录下执行
./stop-all.sh
spark整合yarn只需要在一个节点整合, 可以删除node1 和node2中所有的spark 文件1、增加hadoop 配置文件地址vim spark-env.sh
增加 exportH
转载
2023-05-25 10:53:49
79阅读
目的对达梦的数据通过hive/spark进行分析计算，将结果存入hbase。实际情况有两种方式可供选择：1）利用spark与dm的jdbc链接直接读取dm中的数据进行计算，但是spark与hbase无法建立映射所以数据不能直接写入hbase中；2）hive可以与hbase建立映射但是无法与达梦建立连接烦死了Solution1.通过spark与dm的jdbc连接，先把数据导入hdfs。 两种：一种是
转载
2023-12-19 20:56:19
89阅读
目录Maven依赖配置项目yml配置Spark Java配置Main函数示例Spark ServiceSpark Streaming ReceiverSpark向集群提交任务程序jar包运行Apache Spark是用于大规模数据处理的统一分析引擎。它提供Java，Scala，Python和R中的高级API，以及支持常规执行图的优化引擎。它还支持一组丰富的更高级别的工具，包括星火SQL用于SQL和
转载
2023-12-15 22:51:51
210阅读
需求:将前些日子采集的评论存储到hbase中思路:先用fastjson解析评论,然后构造rdd,最后使用spark与phoenix交互,把数据存储到hbase中部分数据:1 [
2 {
3 "referenceName": "Apple iPhone XR 64GB 黑色 移动联通电信4G全网通手机 双卡双待",
4 "creationTime": "2019-04
转载
2023-11-28 20:07:38
40阅读
Spark Streaming整合HDFS与Spark SQL
原创
2021-07-12 16:38:41
456阅读
spark整合hive就是让hive运行在spark上面，其实跟hive没有太大的关系，就是使用了hive的标准（HQL，元数据库，UDF，序列化，反序列化机制）hive原来的计算模型是MR，将计算结果写入到HDFS中，有点慢，而spark整合hive是让hive运行在spark集群上面，使用spark中的RDD（DataFrame），这样速度很快。下面来说一下这个元数据： 真正要计算的数据是保存
转载
2023-07-20 19:39:17
174阅读
目录： SparkCore架构 Spark架构组成数据多了，因此需要集群，数据都是存放在HDFS 若是在磁盘处理，则使用Hadoop中的MapReduce 若是在内存处理，则使用Spark… 因此Spark的原理就是在内存处理时代替MapReduce，这里介绍Spark的工作原理。 Processing Engine:Spark Core：包含Spark的基本功能；尤其是定义RDD的API、操作以
转载
2023-09-02 22:10:15
50阅读
概述Hadoop作为最早开源的大数据处理系统，经过多年发展为业界主流架构，并拥有一套完善的生态圈，同时作为应用在HDFS之上的数仓解决方案，通过这么多年发展，是大企业大数据平台广泛采用的方案。但是Hive由于采用的MR计算架构，存在一定性能瓶颈，而各种新兴的大数据处理架构蓬勃发展，如何摆脱MR计算架构，同时兼容Hive架构是很多新兴架构的在技术演进过程中需要考虑的重要点。目前业界SQL引擎基本都兼
转载
2023-08-07 22:56:14
104阅读
【本文详细介绍了SparkSQL的运行架构和解析器，欢迎读者朋友们阅读、转发和收藏！】SparkSQL 运行架构类似于关系型数据库， SparkSQL 也是语句也是由 Projection ( a1 ， a2 ， a3 )、 Data Source ( tableA )、 Filter ( condition )组成，分别对应 sql 查询过程中的 Result 、 Data Source 、 O
转载
2023-12-09 10:14:58
74阅读
Spark SQL主要目的是使得用户可以在Spark上使用SQL，其数据源既可以是RDD，也可以是外部的数据源（比如文本、Hive、Json等）。Spark SQL的其中一个分支就是Spark on Hive，也就是使用Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MR作业替换成了Sp
转载
2023-09-04 21:07:37
104阅读
