SpringStrongGuoHadoop与SparkHadoop主要解决，海量数据的存储和海量数据的分析计算。Spark主要解决海量数据的分析计算。Spark运行模式1）Local：运行在一台机器上。 测试用。2）Standalone：是Spark自身的一个调度系统。 对集群性能要求非常高时用。国内很少使用。3）Yarn：采用Hadoop的资源调度器。 国内大量使用。4）Mesos：国内很少使用
转载
2024-10-26 19:45:21
118阅读
文章目录1：引入依赖2：配置application.properties1:常规配置2:全部配置含义3：hello kakfa-简单应用1：简单生产者2：简单消费者3:测试结果4：生产者1：带回调的生产者2：事务提交5：消费者1、指定topic、partition、offset消费2、批量消费3:ConsumerAwareListenerErrorHandler 异常处理器4:消费者&生
转载
2024-09-12 10:45:15
120阅读
说起spring，我们知道其最核心的两个功能就是AOP（面向切面）和IOC（控制反转），这边文章来总结一下SpringBoot如何整合使用AOP。 一、示例应用场景：对所有的web请求做切面来记录日志。 1、pom中引入SpringBoot的web模块和使用AOP相关的依赖： 其中：cglib包是用
转载
2020-11-03 16:41:00
166阅读
2评论
文章目录1. 依赖2. yml配置3. 测试类4. aop拦截5. 并发队列异步发送MQ6. 封装json消息7. 完整封装
原创
2022-09-06 07:24:26
142阅读
通过以上步骤，您已成功完成了Spring Boot与RabbitMQ的整合。这种消息队列的应用在分布式系统中起到了至关重要的作用，为各个微服务之间提供了高效可靠的通信机制。希望这篇教程能够帮助您快速上手Spring Boot整合RabbitMQ，为您的项目添加强大的消息处理能力。
原创
2024-07-09 09:57:06
26阅读
需要实现的功能：写访问spark的接口，也就是从web上输入网址就能把我们需要的信息通过提交一个job然后返回给我们json数据。成果展示：通过url请求，然后的到一个wordcount的json结果（借助的是谷歌浏览器postman插件显示的，直接在浏览器上输入网址是一样的效果） 使用的关键技术：java语言编程，springmvc框架，tomcat容器，spark框架，scala相关依赖成体架
转载
2023-09-19 06:09:19
56阅读
目的对达梦的数据通过hive/spark进行分析计算，将结果存入hbase。实际情况有两种方式可供选择：1）利用spark与dm的jdbc链接直接读取dm中的数据进行计算，但是spark与hbase无法建立映射所以数据不能直接写入hbase中；2）hive可以与hbase建立映射但是无法与达梦建立连接烦死了Solution1.通过spark与dm的jdbc连接，先把数据导入hdfs。 两种：一种是
转载
2023-12-19 20:56:19
89阅读
Spark整合yarn原因：在公司一般不适用standalone模式，因为公司一般已经有yarn 不需要搞两个资源管理框架停止spark集群在spark sbin目录下执行
./stop-all.sh
spark整合yarn只需要在一个节点整合, 可以删除node1 和node2中所有的spark 文件1、增加hadoop 配置文件地址vim spark-env.sh
增加 exportH
转载
2023-05-25 10:53:49
79阅读
目录Maven依赖配置项目yml配置Spark Java配置Main函数示例Spark ServiceSpark Streaming ReceiverSpark向集群提交任务程序jar包运行Apache Spark是用于大规模数据处理的统一分析引擎。它提供Java，Scala，Python和R中的高级API，以及支持常规执行图的优化引擎。它还支持一组丰富的更高级别的工具，包括星火SQL用于SQL和
转载
2023-12-15 22:51:51
210阅读
需求:将前些日子采集的评论存储到hbase中思路:先用fastjson解析评论,然后构造rdd,最后使用spark与phoenix交互,把数据存储到hbase中部分数据:1 [
2 {
3 "referenceName": "Apple iPhone XR 64GB 黑色 移动联通电信4G全网通手机 双卡双待",
4 "creationTime": "2019-04
转载
2023-11-28 20:07:38
40阅读
1. 前言2. 整合Redis快速入门3. StringRedisTemplate基本操作及测试4. 实现Redis事务5. Redis乐观锁(分布式锁）1. 前言这篇文章你能学到，SpringBoot整合Redis的最简单方式，不需要任何复杂的配置。还有完整的乐观锁，分布式锁，事务等实现样例代码供你选择。2. 整合Redis快速入门SpringBoot项目引入redis依赖<!-- 引入
转载
2023-08-16 14:51:36
31阅读
目录： SparkCore架构 Spark架构组成数据多了，因此需要集群，数据都是存放在HDFS 若是在磁盘处理，则使用Hadoop中的MapReduce 若是在内存处理，则使用Spark… 因此Spark的原理就是在内存处理时代替MapReduce，这里介绍Spark的工作原理。 Processing Engine:Spark Core：包含Spark的基本功能；尤其是定义RDD的API、操作以
转载
2023-09-02 22:10:15
50阅读
概述Hadoop作为最早开源的大数据处理系统，经过多年发展为业界主流架构，并拥有一套完善的生态圈，同时作为应用在HDFS之上的数仓解决方案，通过这么多年发展，是大企业大数据平台广泛采用的方案。但是Hive由于采用的MR计算架构，存在一定性能瓶颈，而各种新兴的大数据处理架构蓬勃发展，如何摆脱MR计算架构，同时兼容Hive架构是很多新兴架构的在技术演进过程中需要考虑的重要点。目前业界SQL引擎基本都兼
转载
2023-08-07 22:56:14
104阅读
Spark SQL主要目的是使得用户可以在Spark上使用SQL，其数据源既可以是RDD，也可以是外部的数据源（比如文本、Hive、Json等）。Spark SQL的其中一个分支就是Spark on Hive，也就是使用Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MR作业替换成了Sp
转载
2023-09-04 21:07:37
104阅读
【本文详细介绍了SparkSQL的运行架构和解析器，欢迎读者朋友们阅读、转发和收藏！】SparkSQL 运行架构类似于关系型数据库， SparkSQL 也是语句也是由 Projection ( a1 ， a2 ， a3 )、 Data Source ( tableA )、 Filter ( condition )组成，分别对应 sql 查询过程中的 Result 、 Data Source 、 O
转载
2023-12-09 10:14:58
74阅读
<! flowchart 箭头图标 勿删 此项目为spring boot myBatis neo4j数据库整合项目。 有增删改查(节点关系)、动态分页条件排序等一些示例。 git下载地址：git clone https://github.com/wsm1217395196/my project de
转载
2019-07-29 14:39:00
210阅读
2评论
<! flowchart 箭头图标 勿删 此项目为spring boot myBatis neo4j数据库整合项目。 有增删改查(节点关系)、动态分页条件排序等一些示例。 git下载地址：git clone https://github.com/wsm1217395196/my project de
转载
2019-07-26 13:15:00
296阅读
2评论
简介 精确一次消费（Exactly-once） 是指消息一定会被处理且只会被处理一次。不多不少就一次处理。 如果达不到精确一次消费，可能会达到另外两种情况： 至少一次消费（at least once） 主要是保证数据不会丢失，但有可能存在数据重复问题。 最多一次消费 （at most once） &
转载
2023-07-27 23:00:49
103阅读
背景：用pycharm建立pyspark应用程序时，需要先下载安装pyspark包，一般网络好时可以用File-->Settings-->Project:xxx-->Project Interpreter-->点击“+”-->搜索pyspark-->Install Package来安装pyspark另一种方法 步骤：1.下载spark安装包到windo
转载
2023-09-27 06:09:14
96阅读
# Spark整合Hive
## 简介
Apache Spark是一个快速而通用的集群计算系统，它提供了高级API来进行大规模数据处理和分析。而Apache Hive是一个数据仓库基础设施，它提供了一个方便的查询和分析大规模数据集的方式。将Spark与Hive整合可以让我们在Spark中使用Hive的元数据和查询语法，从而更好地利用数据仓库架构。
## 整合流程
下面是整合Spark和Hiv
原创
2023-11-25 06:29:01
81阅读
