监控GreenPlum表存在的问题 只监控时间戳有什么问题：相同时间戳的记录太多，按时间戳升序排序加 limit 会丢失时间戳等于最后一个时间戳的部分记录。 只监控id有什么问题：若只使用唯一id监控数据，数据发生变更id是监控不到的，这是万万不可以的。在查询时发现一个问题，一般增量代码通过监控时间戳和设置批大小实现数据的分批写入，但GreenPlum的某个表相同时间戳的数据太多（触发器导致），设
转载
2024-06-16 08:41:21
59阅读
# MySQL查看Tablespace
在MySQL中，Tablespace是用于存储数据库表和索引的文件系统。了解如何查看和管理Tablespace对于数据库管理员和开发人员来说是非常重要的。本文将介绍如何使用MySQL命令和语句来查看Tablespace，并提供相应的代码示例。
## 什么是Tablespace？
Tablespace是MySQL中用于存储表和索引的文件系统。每个表和索引
原创
2023-08-25 10:33:27
1141阅读
1 表膨胀相关查询
-- 该视图显示了那些膨胀的（在磁盘上实际的页数超过了根据表统计信息得到预期的页数）正规的堆存储的表。
select * from gp_toolkit.gp_bloat_diag;
--所有对象的膨胀明细
select * from gp_toolkit.gp_bloat_expected_pages;
2 表倾斜的相关信息
-- 该视图通过计算存储在每个Segment上的
转载
2024-02-21 21:16:52
73阅读
# MySQL查看tablespace id的流程
## 概述
在MySQL中查看tablespace id的过程，可以帮助开发者了解数据库中各个表的存储情况，方便性能优化和空间管理。本文将介绍具体的步骤和每一步需要使用的代码。
## 流程图
```mermaid
flowchart TD
A[开始]
B[连接到MySQL]
C[选择要查询的数据库]
D[执行查
原创
2023-12-02 06:42:26
274阅读
Greenplum 资源授权
用户/角色在整个数据库实例中是全局的。用户和角色区别是用户默认有LOGIN权限，其他同。在系统初始化时有个预定的超级用户，操作系统用户名,比如gpadmin。每个数据库的逻辑结构对象都有一个所有者，所有者默认拥有所有权限，不需要重新赋予。删除和任意修改它的权利不能赋予别人，为所有者固有，不能被赋予或撤销。可以把操作该对象的
转载
2024-04-23 10:09:56
100阅读
Greenplum 三节点安装教程（非root用户）
1. 环境准备
安装vmware，装三台centos虚拟机设置：
主机名 IP 内存 硬盘
node1 Xxx1 2G 80G
node2 Xxx2 2G 80G
node3 Xxx3 2G 80G1. CSDN下载greenplum安装文件: greenplum-db-4.3.8.2-build-1-RHEL5-x86_64
2. 安装
首先
转载
2024-08-25 16:29:18
178阅读
标签PostgreSQL , Greenplum , query倾斜 , 存储倾斜 , OOM , disk full , 短板 , 数据分布 背景对于分布式数据库来说，QUERY的运行效率取决于最慢的那个节点。当数据出现倾斜时，某些节点的运算量可能比其他节点大。除了带来运行慢的问题，还有其他的问题，例如导致OOM，或者DISK FULL等问题。 如何监控倾斜1、监控数据库级别倾斜postgres
转载
2024-05-11 07:36:51
204阅读
一，安装准备 1.1基础准备名称安装文件备注中文补丁fonts-chinese-3.02-12.el5.noarch.rpm FTP服务器vsftpd-1.1.3-8.i386.rpm可选，方便于文件存取XFS文件系统补丁kmod-xfs-0.4-2.x86_64.rpmGreenplum推荐在LINUX上使用XFS文件系统，在SOLARIS上使用ZFS文件系统。x
转载
2024-02-28 18:47:21
1315阅读
今天，给大家分享一下解决源码包编译安装 LEMP 环境下开启 OpenSSL 功能问题的过程。前几天，在访问页面时，突然报错，要求开启 openssl 功能。那怎么办呢，首先想到的是 yum 安装，但是，安装后还是没解决，因为 LEMP 的环境是源码包编译安装的，所以，还需要编译安装 openssl。经过邪恶不懈的努力，终于找到了解决办法，而且真的成功了，下面就给大家分享一下！首先，要确
转载
2024-05-27 19:33:36
69阅读
一、环境准备 1、准备三台服务器192.168.123.103 master
192.168.123.104 data1
192.168.123.105 data2
2、更改服务器hosts #vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdo
转载
2024-06-19 22:05:26
139阅读
第10章 内置函数总结Greenplum数据库支持内置函数和操作符，包括可以在窗口表达式中使用的分析函数和窗口函数。 有关使用内置Greenplum数据库函数的信息，请参阅“Greenplum数据库管理员指南”中的“使用函数和操作符”。•Greenplum数据库功能类型•内置函数和操作符•窗口功能•高级分析功能 Greenplum Database Function T
转载
2024-03-05 16:30:35
54阅读
一、系统设置（所有主机）、操作系统环境，64位操作系统，没有更新过 [root@localhost tools]# cat /etc/redhat-release
CentOS Linux release 7.5.1804 (Core) 2、关闭防火墙 #systemctl stop firewalld.service #停止firewall3、关闭Network
转载
2024-04-02 09:59:29
271阅读
Greenplum集群主要包括Master节点和Segment节点，Master节点称之为主节点，Segment节点称之为数据节点。Master节点与Segment节点都是有备份的，其中Master节点的备节点为Standby Master(不能够自动故障转移)，Segment是通过Primary Segment与Mirror Segment进行容错的。通过本文你可以了解：
Green
转载
2024-04-25 21:36:57
174阅读
今天踩坑了，把powerdesign生成的sql脚本文件，用pg_restore命令一直运行。。。 过程惨不忍睹，一直以为是编码问题，修改了serve和client的encoding，结果。。。记录一下这个错误：postgreSQL运行sql脚本文件：psql -d dbname -U username -f (脚本所在位置).sqlpostgerSQL的pg_restore命令用法: pg_re
转载
2024-04-03 08:54:24
207阅读
PostgreSQL 分区概念PostgreSQL 分区是将单个大表分成小的、可管理的部分的过程。通过将表分解为更小的部分，可以提高查询性能和数据加载速度，同时也可以简化数据维护和管理。使用分区技术，可以将大型表分成多个小表，每个小表只包含特定的数据子集。在 PostgreSQL 中，分区表由一个主表和多个子表组成。主表包含所有子表的元数据，而子表包含实际数据。分区表的查询和 DML 操作与普通表
转载
2024-03-23 12:47:47
245阅读
一、最佳实践数据库参数部分
GP数据库参数配置
以下配置存于文件–postgresql.conf中，仅列出一些最常用的参数。
shared_buffers：刚开始可以设置一个较小的值，比如总内存的15%，然后逐渐增加，过程中监控性能提升和swap的情况。
effective_cache_size : 这个参数告诉PostgreSQL的优化器有多少内存
转载
2024-07-31 06:55:20
71阅读
1、查看greenplum分布键selectd.nspname||'.'||a.relnameastable_name,b.attnameascolumn_namefrompg_catalog.pg_classainnerjoinpg_catalog.pg_attributebona.oid=b.attrelidinnerjoinpg_catalog.gp_distribution
原创
2019-01-08 21:55:02
4311阅读
Greenplum目前6版本目前已经迭代了几个小版本了，随着版本的，不断的有bug被修复。打算试用的朋友可以入手了。 作为开年的第一个工作日的第一个帖子，必须从“开天辟地”的6.0开始。以下内容较简略，适合稍微有基础的朋友，不适合作为安装部署圣经（这类帖子在网上肯定已经很多了，自行百度即可）。尝试安装目前Pivotal官方已经不再提供臃肿的bin安装包，而是通过对RedHat系更加友好的rpm
转载
2024-06-24 09:26:26
46阅读
本文包含以下内容：关于 PostGISGreenplum 数据库中的PostGIS 扩展提供PostGIS能力升级Greenplum的PostGIS扩展迁移PostGIS 1.4到2.0使用PostGIS 功能和限制1. 关于 PostGIS关于PostGIS的介绍，本文不再赘述，请参考本公众号相关专题文章。2. Greenplum 数据库中的PostGIS 扩展可从Pivotal Network
转载
2024-04-12 11:57:13
39阅读
众所周知，Greenplum内部支持MVCC多版本并发控制，通过MVCC技术，可以支持同一行数据的读写并发问题，从而大大提升并发访问控制的能力。GP中的MVCC实现所谓多版本，其含义在于数据的更新和删除操作并不是直接在原数据上直接进行修改，而是通过把原数据标记为失效的数据，再在新版本中增加新数据的方式，数据具有多个版本。 在Greenplum中，每条数据上有两个标识信息，一个是数据的创建信息XMi
转载
2024-03-21 11:33:31
54阅读
