GeoSpark简介GeoSpark是一个用于处理大规模空间数据的开源内存集群计算系统。是传统GIS与Spark的结合。GeoSpark扩展RDD以形成空间RDD（SRDD），并跨机器高效地对SRDD数据元素进行分区，并引入新颖的并行化空间（几何操作，遵循Open Geosptial Consortium（OGC）标准）转换和操作（用于SRDD），提供更直观的界面供用户编写空间数据分析程序。Geo
转载
2024-10-08 10:57:28
12阅读
20170103 x 20170104 z 20170105 y 根据输入的文件 A 和 B 合并得到的输出文件 C 的样例如下： 20170101 x 20170101 y 20170102 y 20170103 x 20170104 y 20170104 z 20170105 y 20170105 z 20170106 z编写文件A B 配置编译选项 编译代码 使用/software/spar
在公司做大数据开发已经四五年了，因此也积累了一些心得体会，便趁着这次机会大体描述下。 首先：数据开发的前提肯定是需要数据的，而数据从哪里来，大部分的数据都存储在Oracle中，而spark的计算 数据来源基本上都是hdfs。虽然oracle也可以与spark进行直接交互，但是如果oracle的表的数据量高达千万、亿 级别，每次的spark的查询都会对oracle数据库产生极大的影响，因
转载
2023-11-24 13:35:20
59阅读
文章目录Parquet 文件加载Parquet文件Partition Discovery 分区探测Schema 合并ORC文件Hive表用JDBC读其它数据库Performance Tuning性能优化Caching Data In MemoryOther Configuration OptionsBroadcast Hint for SQL Queries 你用MapReduce、Spark
转载
2023-11-10 01:05:35
28阅读
本文参考了《Spark SQL内核剖析》（朱峰、张韶全、黄明等著）的目录结构和内容，这本书主要集中在对SQL内核实现的剖析上，从源码实现上学习分布式计算和数据库领域的相关技术，非常值得有相关需求的专业人士学习和购买。我写这篇文章的目的也是基于此做一个关于Spark SQL的学习以及分享了一些自己的理解。什么是Spark SQL?Spark SQL是近年来SQL-on-Hadoop解决方案（包括Hi
转载
2023-12-07 17:03:44
94阅读
MySQL是被Sun公司收购了，所以也有热咖啡图标，不过MySQL的作者后来又做了一个MariaDB，小海豚图标，也很好用。MySQL学习：《MySQL网络数据库设计与开发》（电子工业出版社）数据库的基本的概念都是一样的，而且都是用的标准的SQL语法。学习了SQLServer之后，看MySQL感觉很熟悉，好像在复习一样。概念模型：域，domain，属性的取值范围。数据模型：层级模型，IBM开发的数
转载
2024-09-10 10:21:06
33阅读
异常描述在一个CDSW环境中，由于其中一个租户经常提交大型Spark作业将YARN上租户所在的资源池资源用到95%以上，从而影响到同一租户下其他用户提交作业的运行。这种情况下我们没办法直接找到这些大型作业的实际提交人，是因为我们在为CDSW做多租户配置的时候会将登录CDSW的某一批用户统一绑定到同一个租户下(这样设计的目的主要是为了简化YARN的租户管理，而不用为每个用户创建资源池队列)，所以导致
转载
2024-10-08 14:13:53
39阅读
在这篇博文中，我将详细记录如何解决“spark操作pg的date类型”的问题，并让你更好地理解这个过程。通过正确地理解和实现这些步骤，我们可以确保我们的Spark应用能够与PostgreSQL的`date`类型正确交互。
## 环境准备
我们首先需要确保我们的环境是可靠的。以下是我们所需的前置依赖和它们的版本兼容性：
| 组件 | 版本 | 备注
1. Spark SQL基本概念1.1 了解什么是Spark SQL Spark SQL是Spark多种组件中其中一个, 主要是用于处理大规模的结构化数据什么是结构化数据:
一份数据集, 每一行都是有固定的列, 每一列的类型都是一致的, 我们将这种数据集称为结构化的数据
例如: MySQL表数据
1 张三 20
2 李四 18
3 王五 21为什么要学习Spark SQL呢?1- 会SQL的人
转载
2023-10-27 20:25:55
62阅读
在实际的开发过程中，SQL化已经是数据领域的共识，大家疯狂的将大数据框架的易用性做到了最高，即使一个刚刚毕业的同学，只要有SQL基础就可以看懂甚至上手开发了。那么我们有必要对SparkSQL这个模块进行一个全面的解析。SparkSQL的前世今生Spark SQL的前身是Shark，它发布时Hive可以说是SQL on Hadoop的唯一选择（Hive负责将SQL编译成可扩展的MapReduce作业
本文主要记录对象存储组件Minio、数据湖组件Hudi及查询引擎Hive\Spark之间的兼容性配置及测试情况，Spark及Hive无需多言，这里简单介绍下Minio及Hudi。 MinIO 是在 GNU Affero 通用公共许可证 v3.0 下发布的高性能对象存储。 它是与 Amazon S3 云存储服务兼容的 API。可使用s3a的标准接口进行读写操作。
转载
2023-10-02 23:46:35
186阅读
21、向表中插入数据INSERT INTO 表名 （列1，列2，...）VALUES（值1，值2，.......）； 前面我们还写过一种写法，就是列清单的省略写法。当我们对表进行全列插入时，就可以省略表名后的列清单。VALUES字句的值会默认按照从左到右的顺序赋值给每一列。INSERT INTO 表名 VALUES（值1，值2,.....）；22、插入的值为NULL，就是在插
转载
2024-05-08 17:17:26
67阅读
Move sequences' metadata fields into a new pg_sequence system catalog (Peter Eisentraut)A sequence relation now stores only the fields that can be modified by nextval(), that is last_value, log_
转载
2021-10-25 14:40:11
254阅读
定义系统表的定义：系统表是存放系统信息的普通表或者视图pg中总共包括56张系统表和23个系统视图，系统视图建立在系统表之上系统表的创建pg的每一个数据库中都有一套自己的系统表，其中大多数系统表都是在数据库创建时从模板数据库中拷贝过来的系统表的维护系统表中的信息由sql命令关联的系统表操作来自动维护系统表的存储方式和数据库相关的系统表保存在/data/base目录下相应数据库的文件夹下,文件夹命名为
转载
2023-10-11 22:23:22
190阅读
#1.pg_profile 安装 软件下载：https://github.com/zubkov-andrei/pg_profile unzip pg_profile-master.zip cd pg_profile-master EXPORT PG_CONFIG = /u01/postgresql/
转载
2022-05-05 14:36:50
1132阅读
一、PostgreSQL 全文检索简介1. tsvector2.tsquery3.英文全文检索例子二、 json 、 jsonb 全文检索实践1.查看to tsvector 函数2.创建数据生成函数3.创建 json 测试表4.json 数据全文检索测试总结前言 第一部分简单介绍 PostgreSQL 全文检索 第二部分演示全文检索对 json 、 jsonb 数据类型的支持 。一、Postgre
转载
2024-05-12 15:08:08
130阅读
索引是指按表中某些关键属性或表达式建立元组的逻辑顺序，它是由一系列表元组的标识号组成的一个列表。在关系数据库中，索引是一种与表有关的数据库结构，它可以使对应于表的SQL语句执行得更快。索引的作用相当于图书的目录，可以根据目录中的页码快速找到所需的内容。索引是一个单独的、物理的数据库结构，它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。
转载
2024-07-29 16:18:56
53阅读
1.索引的基本架构PG的索引是B+树，B+树是为磁盘或其他直接存取辅助设备而设计的一种平衡查找树，在B+树中，所有记录节点都是按键值的大小顺序存放在同一层的叶节点中，各叶节点指针进行连接： meta page
|
root page（8kb，一个记录占32个bit，那么就能存256个branch page，超过了就需要扩充一级branch page来存储leaf page）
转载
2024-06-03 15:24:42
52阅读
索引是增强数据库性能的常用方法。索引使得数据库在查找和检索数据库的特定行的时候比没有索引快的多。但索引也增加了整个数据库系统的开销，所以应该合理使用。 PostgreSQL提供了几种索引类型：B-tree，Hash，GiST，SP-GiST，GIN和BRIN。每个索引类型使用不同的算法，适合不同种类的查询。默认情况下，CREATE INDEX命令创建B-tree索引，这符合最常见的情况
转载
2024-03-05 04:23:56
73阅读
简介pg_repack is a PostgreSQL extension which lets you remove bloat from tables and indexes, and optionally restore the physical order of clustered indexe
原创
2022-07-12 11:41:13
316阅读
