数据采集平台管理端https://github.com/zhaoyachao/zdh_web数据采集平台服务https://github.com/zhaoyachao/zdh_serverweb端在线查看http://zycblog.cn:8081/login用户名：zyc
密码：123456界面只是为了参考功能,底层的数据采集服务 需要自己下载zdh_server 部署,服务器资源有限,请手下留
转载
2024-08-18 11:41:46
83阅读
1、背景引入：spark SQL的数据源 Spark SQL是Spark的一个模块，用于结构化数据的处理。使用Spark SQL的方式有2种，可以通过SQL或者Dataset API，这两种使用方式在本文都会涉及。其中，通过SQL接口使用的方法具体又可分为3种：在程序中执行
使用命令行
Jdbc/ODBCSpark关于分布式数据集的抽象原本是RDD，Dataset是其升级版本。DataFram
转载
2023-09-05 15:59:27
183阅读
点赞
Spark常见数据源（文件格式与文件系统：文本文件\JSON\CSV\SequenceFile；Spark SQL中的结构化数据源；数据库与键值存储）
*以下内容由《Spark快速大数据分析》整理所得。读书笔记的第三部分是讲的是Spark有哪些常见数据源？怎么读取它们的数据并保存。Spark有三类常见的数据源：文件格式与文件系统：它们是存储在本地文件系统
转载
2023-07-18 22:30:37
182阅读
目录1、Spark 发展史2、Spark 为什么会流行3、Spark 特点4、Spark 运行模式 1、Spark 发展史2009 年诞生于美国加州大学伯克利分校 AMP 实验室； 2014 年 2 月，Spark 成为 Apache 的顶级项目；Spark 成功构建起了一体化、多元化的大数据处理体系。在任何规模的数据计算中， Spark 在性能和扩展性上都更具优势；在 FullStack 理想
转载
2023-08-26 08:29:37
76阅读
Spark 支持通过 DataFrame 来操作大量的数据源，包括外部文件（如 json、avro、parquet、sequencefile 等等）、hive、关系数据库、cassandra 等等。本文测试环境为 Spark 1.3。加载和保存文件最简单的方式是调用 load 方法加载文件，默认的格式为 parquet，你可以修改 spark.sql.sources.default&nb
转载
2023-08-07 08:46:00
201阅读
SparkSQL数据源手动指定选项Spark SQL的DataFrame接口支持多种数据源的操作。一个DataFrame可以进行RDD的方式的操作，也可以被注册为临时表。把DataFrame注册为临时表之后，就可以对该DataFrame执行SQL查询。Spark SQL的默认数据源为Parquet格式。数据源为Parquet文件时，Spark SQL可以方便的执行所有的操作。修改配置项spa
# 科普文章：深入了解Spark数据源
在Spark中，数据源是指用来读取和写入数据的组件。Spark提供了丰富的数据源接口，可以方便地与各种数据源进行交互，包括HDFS、Hive、HBase、JDBC等。通过使用不同的数据源，可以实现数据的高效读取和处理，为Spark程序提供更多的数据来源和存储选项。
## Spark数据源的分类
Spark数据源可以分为两类：内置数据源和外部数据源。
原创
2024-07-09 05:12:02
51阅读
一、总括1.参考官网：2.SparkSQL支持多种数据源，这个部分主要讲了使用Spark加载和保存数据源。然后，讲解内置数据源的特定选项。3.数据源分类：（1）parquet数据（2）hive表（3）jdbc连接其他数据库（以MySQL的数据库为例） 二、parquet数据1.读取数据：直接转换为DataFrameval userDF=spark.read.format("parquet
转载
2023-10-05 16:20:07
113阅读
Spark应用的数据源：1）Driver驱动中的一个集合(parallelizePairs parallelize)2）从本地（file:///d:/test）或者网络(file:///hdfs:localhost:7777)存上获取 textFile textWholeFiles3）流式数据源：Socket (socketTextStream
转载
2023-08-22 10:52:17
89阅读
3.4 数据源Spark本质上是一个使用集群节点进行大数据集处理的计算框架。与数据库不同，它并没有存储系统，但是它可以搭配外部存储系统使用。Spark一般都配合能存储大量数据的分布式存储系统使用。Spark支持多种数据源。Spark应用程序可以使用的数据来源包括HDFS、HBase、Cassandra、Amazon S3，或者其他支持Hadoop的数据源。任何Hadoop支持的数据源都可以被S
转载
2024-04-02 22:22:14
59阅读
Spark Streaming概述概述http://spark.apache.org/docs/latest/streaming-programming-guide.html Spark Streaming是Spark Core扩展（RDD），可以对实时流数据进行可靠、高吞吐、容错的流数据处理。① 构建数据源： Spark Streaming在计算时，输入数据（数据源Sources）可以有多种类型
转载
2024-01-21 06:14:58
122阅读
3.SparkSQL 数据源3.1 通用加载/保存方法3.1.1 手动指定选项 Spark SQL 的 DataFrame 接口支持多种数据源的操作。一个 DataFrame 可以进行 RDDs 方式的操作，也可以被注册为临时表。把 DataFrame 注册为临时表之后，就可以对该 DataFrame 执行SQL 查询。 Spark SQL 的默认数据源为 Parquet 格式。数
转载
2023-06-19 06:17:49
159阅读
第4章 SparkSQL数据源4.1 通用加载/保存方法4.1.1 手动指定选项的DataFrame接口支持多种数据源的操作。一个DataFrame可以进行RDDs方式的操作，也可以被注册为临时表。把DataFrame注册为临时表之后，就可以对该DataFrame执行SQL查询。的默认数据源为Parquet格式。数据源为Parquet文件时，Spark SQL可以方便的执行所有的操作。修改配置项s
转载
2024-03-12 13:51:06
67阅读
Checkpoint介绍checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保 证应用流图状态的一致性。Flink的checkpoint机制原理来自“Chandy-Lamport algorithm”算法。每个需要checkpoint的应用在启动时，Flink的JobManage
转载
2024-03-10 20:51:44
134阅读
SparkSQL数据源操作SparkSQL支持很多数据源，我们可以使用Spark内置的数据源，目前Spark支持的数据源有：json，parquet，jdbc，orc，libsvm，csv，text。也可以指定自定义的数据源，只需要在读取数据源的时候，指定数据源的全名。在https://spark-packages.org/这个网站，我们可以获取到更多的第三方的数据源。1 JSON数据源1.1 以
转载
2023-08-07 01:52:22
186阅读
输入DStream和Receiver输入DStream其实就是从数据源接收到的输入数据流的DStream。每个DStream都与一个Receiver对象一一对应。SparkStreaming提供了两种内置数据源支持。基本的数据源：Streaming API中直接提供的数据源。例如文件系统和套接字连接。高级数据源：Kafka、Flume、Kinesis等数据源，这种高级数据源需要提供额外Maven依
转载
2023-11-08 22:17:09
80阅读
1 ，kafkaStreaming 架构模型 ：2 ，代码思路 ：3 ，spark 两种 API ：高级 API ： 有可能丢失数据。低级 API ： 手动维护，刽丢失数据4 ，kafka 注意事项 ：kafka 数据，默认保存 7 天。从 zk 读取 offset 。创建 kafka 消费者，消费数据。5 ，sparkStreaming 的各种数据源 ：文件数据源streamingContext
转载
2024-03-06 23:14:38
308阅读
输入DStreams表示从数据源获取的原始数据流。Spark Streaming拥有两类数据源 （1）基本源（Basic sources）：这些源在StreamingContext API中直接可用。例如文件系统、套接字连接、Akka的actor等。 （2）高级源（Advanced sources）：这些源包括Kafka,Flume,Kinesis,Twitter等等。1、基本数据源输入源码Spa
转载
2023-08-12 15:49:47
61阅读
Spark SQL支持读取很多种数据源，比如parquet文件，json文件，文本文件，数据库等。先把people.json导入到hdfs的tmp目录下。
原创
2024-04-27 19:06:05
78阅读
# 使用Spark连接Redis数据源的完整指南
在大数据时代，Apache Spark 和 Redis 是两个非常流行的数据处理和存储框架。将这两者结合在一起，可以有效地获取和处理数据。本文将指导你如何实现 Spark 和 Redis 的数据源连接，并提供代码示例与详细解释。
## 实现流程
下面是实现 Spark 连接 Redis 数据源的主要步骤：
| 步骤 | 描述 |
|----
原创
2024-08-12 04:10:14
60阅读
