一、HBase简介 1、 bigtable：主要是满足互联网搜索引擎的基本需求、用于网页搜索、用于谷歌非常多的项目中，包括搜索，地图，财经，打印等、还有一些社交网站，博客网站等。分布式存储系统（bigtale）：基于谷歌分布式文件系统 GFS 完成存储，利用 Chubby 做协同管理。 2、 HBase：分布式数据库，可以存储非结构化和半结构化的松散数据。水平扩展的方式，允许几千台服务器去存储海量
转载
2023-07-13 16:50:18
58阅读
1 ，kafkaStreaming 架构模型 ：2 ，代码思路 ：3 ，spark 两种 API ：高级 API ： 有可能丢失数据。低级 API ： 手动维护，刽丢失数据4 ，kafka 注意事项 ：kafka 数据，默认保存 7 天。从 zk 读取 offset 。创建 kafka 消费者，消费数据。5 ，sparkStreaming 的各种数据源 ：文件数据源streamingContext
转载
2024-03-06 23:14:38
308阅读
1、背景引入：spark SQL的数据源 Spark SQL是Spark的一个模块，用于结构化数据的处理。使用Spark SQL的方式有2种，可以通过SQL或者Dataset API，这两种使用方式在本文都会涉及。其中，通过SQL接口使用的方法具体又可分为3种：在程序中执行
使用命令行
Jdbc/ODBCSpark关于分布式数据集的抽象原本是RDD，Dataset是其升级版本。DataFram
转载
2023-09-05 15:59:27
183阅读
点赞
Spark常见数据源（文件格式与文件系统：文本文件\JSON\CSV\SequenceFile；Spark SQL中的结构化数据源；数据库与键值存储）
*以下内容由《Spark快速大数据分析》整理所得。读书笔记的第三部分是讲的是Spark有哪些常见数据源？怎么读取它们的数据并保存。Spark有三类常见的数据源：文件格式与文件系统：它们是存储在本地文件系统
转载
2023-07-18 22:30:37
182阅读
目录1、Spark 发展史2、Spark 为什么会流行3、Spark 特点4、Spark 运行模式 1、Spark 发展史2009 年诞生于美国加州大学伯克利分校 AMP 实验室； 2014 年 2 月，Spark 成为 Apache 的顶级项目；Spark 成功构建起了一体化、多元化的大数据处理体系。在任何规模的数据计算中， Spark 在性能和扩展性上都更具优势；在 FullStack 理想
转载
2023-08-26 08:29:37
78阅读
Spark 支持通过 DataFrame 来操作大量的数据源，包括外部文件（如 json、avro、parquet、sequencefile 等等）、hive、关系数据库、cassandra 等等。本文测试环境为 Spark 1.3。加载和保存文件最简单的方式是调用 load 方法加载文件，默认的格式为 parquet，你可以修改 spark.sql.sources.default&nb
转载
2023-08-07 08:46:00
201阅读
数据采集平台管理端https://github.com/zhaoyachao/zdh_web数据采集平台服务https://github.com/zhaoyachao/zdh_serverweb端在线查看http://zycblog.cn:8081/login用户名：zyc
密码：123456界面只是为了参考功能,底层的数据采集服务 需要自己下载zdh_server 部署,服务器资源有限,请手下留
转载
2024-08-18 11:41:46
85阅读
SparkSQL数据源手动指定选项Spark SQL的DataFrame接口支持多种数据源的操作。一个DataFrame可以进行RDD的方式的操作，也可以被注册为临时表。把DataFrame注册为临时表之后，就可以对该DataFrame执行SQL查询。Spark SQL的默认数据源为Parquet格式。数据源为Parquet文件时，Spark SQL可以方便的执行所有的操作。修改配置项spa
# 科普文章：深入了解Spark数据源
在Spark中，数据源是指用来读取和写入数据的组件。Spark提供了丰富的数据源接口，可以方便地与各种数据源进行交互，包括HDFS、Hive、HBase、JDBC等。通过使用不同的数据源，可以实现数据的高效读取和处理，为Spark程序提供更多的数据来源和存储选项。
## Spark数据源的分类
Spark数据源可以分为两类：内置数据源和外部数据源。
原创
2024-07-09 05:12:02
51阅读
Spark应用的数据源：1）Driver驱动中的一个集合(parallelizePairs parallelize)2）从本地（file:///d:/test）或者网络(file:///hdfs:localhost:7777)存上获取 textFile textWholeFiles3）流式数据源：Socket (socketTextStream
转载
2023-08-22 10:52:17
89阅读
一、总括1.参考官网：2.SparkSQL支持多种数据源，这个部分主要讲了使用Spark加载和保存数据源。然后，讲解内置数据源的特定选项。3.数据源分类：（1）parquet数据（2）hive表（3）jdbc连接其他数据库（以MySQL的数据库为例） 二、parquet数据1.读取数据：直接转换为DataFrameval userDF=spark.read.format("parquet
转载
2023-10-05 16:20:07
113阅读
3.4 数据源Spark本质上是一个使用集群节点进行大数据集处理的计算框架。与数据库不同，它并没有存储系统，但是它可以搭配外部存储系统使用。Spark一般都配合能存储大量数据的分布式存储系统使用。Spark支持多种数据源。Spark应用程序可以使用的数据来源包括HDFS、HBase、Cassandra、Amazon S3，或者其他支持Hadoop的数据源。任何Hadoop支持的数据源都可以被S
转载
2024-04-02 22:22:14
59阅读
Spark Streaming概述概述http://spark.apache.org/docs/latest/streaming-programming-guide.html Spark Streaming是Spark Core扩展（RDD），可以对实时流数据进行可靠、高吞吐、容错的流数据处理。① 构建数据源： Spark Streaming在计算时，输入数据（数据源Sources）可以有多种类型
转载
2024-01-21 06:14:58
122阅读
3.SparkSQL 数据源3.1 通用加载/保存方法3.1.1 手动指定选项 Spark SQL 的 DataFrame 接口支持多种数据源的操作。一个 DataFrame 可以进行 RDDs 方式的操作，也可以被注册为临时表。把 DataFrame 注册为临时表之后，就可以对该 DataFrame 执行SQL 查询。 Spark SQL 的默认数据源为 Parquet 格式。数
转载
2023-06-19 06:17:49
159阅读
第4章 SparkSQL数据源4.1 通用加载/保存方法4.1.1 手动指定选项的DataFrame接口支持多种数据源的操作。一个DataFrame可以进行RDDs方式的操作，也可以被注册为临时表。把DataFrame注册为临时表之后，就可以对该DataFrame执行SQL查询。的默认数据源为Parquet格式。数据源为Parquet文件时，Spark SQL可以方便的执行所有的操作。修改配置项s
转载
2024-03-12 13:51:06
67阅读
# 用Grafana可视化HBase数据：一探究竟
随着大数据技术的发展，越来越多的企业选择使用HBase作为其数据存储解决方案。然而，HBase存储的数据往往难以被直观展示，因此可视化工具如Grafana变得尤为重要。本文将带领大家了解如何将HBase作为数据源连接到Grafana，以及如何创建可视化面板。
## 一、Grafana和HBase简介
### Grafana
Grafana
原创
2024-09-21 03:35:02
191阅读
输入DStream和Receiver输入DStream其实就是从数据源接收到的输入数据流的DStream。每个DStream都与一个Receiver对象一一对应。SparkStreaming提供了两种内置数据源支持。基本的数据源：Streaming API中直接提供的数据源。例如文件系统和套接字连接。高级数据源：Kafka、Flume、Kinesis等数据源，这种高级数据源需要提供额外Maven依
转载
2023-11-08 22:17:09
80阅读
SparkSQL数据源操作SparkSQL支持很多数据源，我们可以使用Spark内置的数据源，目前Spark支持的数据源有：json，parquet，jdbc，orc，libsvm，csv，text。也可以指定自定义的数据源，只需要在读取数据源的时候，指定数据源的全名。在https://spark-packages.org/这个网站，我们可以获取到更多的第三方的数据源。1 JSON数据源1.1 以
转载
2023-08-07 01:52:22
186阅读
输入DStreams表示从数据源获取的原始数据流。Spark Streaming拥有两类数据源 （1）基本源（Basic sources）：这些源在StreamingContext API中直接可用。例如文件系统、套接字连接、Akka的actor等。 （2）高级源（Advanced sources）：这些源包括Kafka,Flume,Kinesis,Twitter等等。1、基本数据源输入源码Spa
转载
2023-08-12 15:49:47
61阅读
文章目录前言一、Hbase是什么二、Hbase用来做什么三、Hbase的优势是什么四、为什么用Hbase五、Hbase解决了什么问题总结 前言在进行大数据开发等相应应用中，除了一些常用的大数据组件，利用Hive外，也有一些其他类型的组件，比如专属于大数据领域的Hbase开源数据库，在此对其进行了相应的总结。一、Hbase是什么HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay C
转载
2023-07-12 20:12:16
62阅读
