kingle_work的博客_Greenplum

GreenPlum 大数据平台--远程访问-->gpadmin客户端

一,客户端连接　　01,配置文件说明　　　　在master节点的$MASTER_DATA_DIRECTORY(这个是配置的环境变量:/greenplum/data/master/gpseg-1)/pg_hba.conf 中添加新的客户端服务器信息。master节点的pg_hba.conf配置文件，控制客户端访问Greenplum系统。注意：segment节点也有pg_hba.conf配置文件，它只

配置文件

客户端

vim

原创 2022-01-25 10:09:25 391 阅读

GreenPlum 大数据平台--介绍

一,GreenPlum　　01,介绍:　　Greenplum是一种基于PostgreSQL的分布式数据库，其采用shared-nothing架构，主机、操作系统、内存、存储都是自我控制的，不存在共享。　　官方文档:>>>--大概内容如下Greenplum Database是一个大规模并行处理（MPP）数据库服务器，其架构专门用于管理大规模分析数据仓库和商业智能工作负载。MPP（也

数据库

数据

postgresql

转载 2022-01-25 09:58:11 632 阅读

GreenPlum 大数据平台--web监控

一,安装web监控界面　　01,准备　　下载greenplum cc包,>>　　解压缩　　02,安装前配置vim /greenplum/data/master/gpseg-1/pg_hba.conflocal gpperfmon gpmon trusthost all gpmon

数据库

sed

linux

原创 2022-01-25 09:54:46 309 阅读

GreenPlum 大数据平台--运维(三)

一,操作命令01,启动gpstart参数说明 View Code　　　操作实例gpstart -m只启动mastergpstart -a -y正常启动不提示确定信息,同时不启动master standy执行过程1 　　1)获取环境变量,如GPHOME, MASTER_DATA_DIRECTORY等信息。 2 3 　　2)检查Greenplum的版本,如果gpstart脚本的版本与数据目录的Gre

sed

数据库

postgresql

原创 2022-01-25 09:54:02 845 阅读

GreenPlum 大数据平台--备份-邮件配置-gpcrondump & gpdbrestore(五)

01,备份　　生成备份数据库 View Code View Code在最后面说配置邮件.那我们来试试把01-1,邮件　　　查看怎么配置邮件gpbackup will send out status email notifications after a back up operation completes, if you place a file named mail_contacts in t

sql

sed

数据

转载 2022-01-25 09:49:42 258 阅读

GreenPlum 大数据平台--基础使用(一)

一,操作语法　　01,创建数据库[gpadmin@greenplum01 ~]$ createdb testDB -E utf-8--创建用户--[gpadmin@greenplum01 ~]$ export PGDATABASE=testDB--指定数据库名字[gpadmin@greenplum01 ~]$ psql--连接本地数据库psql (8.3.23)Type "help" for h

数据

字符串

列转行

原创 2022-01-25 09:43:23 153 阅读

GreenPlum 大数据平台--运维(一)

1.最后分析或真空或创建表或等... Select * from pg_stat_operations where schemaname='SCHEMA NAME ' and actionname in ('ANALYZE','VACUUM') order by statime;2.长时间查询空闲： Select * from pg_stat_activity order by query_

数据库

数据类型

xml

原创 2022-01-25 09:42:11 315 阅读

GreenPlum 大数据平台--非并行备份(六)

一,非并行备份(pg_dump)　　1) GP依然支持常规的PostgreSQL备份命令pg_dump和pg_dumpall 　　2) 备份将在Master主机上创建一个包含所有Segment数据的大的备份文件　　3) 不适合于全部数据备份，适用于小部分数据的迁移或备份　　pg_dump是用于备份数据库的标准PostgreSQL实用程序，在Greenplum数据库中也受支持。它创建一个（

数据库

sql

数据

转载 2022-01-25 09:27:10 193 阅读

GreenPlum 大数据平台--增加segment

01，增加机器的配置　　　　需要增加的机器安装greenplum 软件（操作见greenplum安装部署章节）02，分配机器存储区域03，配置互信　　　　　　　使用gpssh-exkeys确保Segment主机能通过SSH和SCP免密码连接到彼此。04，配置文件编写　　创建一个配置文件，其中列出要在其上创建镜像的主机名称、端口号和数据目录镜像配置文件的格式为：filespaceOrder=[fil

配置文件

数据目录

安装部署

原创 2022-01-21 10:07:34 155 阅读

GreenPlum 大数据平台--监控

数据库状态监控活动活动过程纠正措施列出当前状态为down的Segment。如果有任何行被返回，就会生成一个警告或者告警。推荐频率：每5到10分钟重要度： IMPORTANT在postgres数据库中运行下例查询：SELECT * FROM gp_segment_configurationWHERE status <> 'u';如果该查询返回任何行，按照这些步骤来纠正问题：验证宕机的Se

数据库

数据

修复脚本

转载 2022-01-21 10:05:49 251 阅读

GreenPlum 大数据平台--segment 失效问题恢复

3c

linux

postgresql

原创 2022-01-21 10:03:47 492 阅读

GreenPlum 大数据平台--segment 失效问题恢复《二》（全部segment宕机情况下）

01，情况描述　　主Segment和它的镜像都宕掉。导致了greenplum数据库不可用状态02，重启greenplum数据库gpstop -r03，恢复gprecoverseg04，状态检查gpstate -m 保证所有segment处于Synchronized05，存在处于Change Tracking模式运行gprecoverseg -F

数据库

重启

原创 2022-01-21 09:59:24 152 阅读

GreenPlum 大数据平台--安装

1. 环境准备　　01, 安装包准备:　　　　Greenplum : >>>>链接地址　　　　Pgadmin客户端 : >>>链接地址　　　　greenplum-cc-web监控: >>>>链接地址　　02,节点说明服务器ip主机名角色系统版本192.168.0.221greenplum01mastercentos7192.16

bash

初始化

sed

原创 2022-01-20 18:30:44 833 阅读

GreenPlum 大数据平台--并行备份(四)

01,并行备份(gp_dump)　　1) GP同时备份Master和所有活动的Segment实例　　2) 备份消耗的时间与系统中实例的数量没有关系　　3) 在Master主机上备份所有DDL文件和GP相关的数据字典表　　4) 每个Segment备份各自的数据　　5) 所有备份文件组成一个完整的备份集合，通过唯一14位数字的时间戳来识别 gp_dump dumps a database as a t

sed

数据库

数据文件

原创 2022-01-20 18:11:44 620 阅读

GreenPlum 大数据平台--运维(二)

1.如何获取查询运行时和已用时间。例子:Select tstart, tfinish, (tfinish-tstart) as total_time, trim(query_text) from queries_history Where tstart >= '2011-07-07 11:00:00' and tstart < '2011-07-07 13:00:00'and db =

数据库

数据偏斜

创建表

原创 2022-01-20 17:47:53 184 阅读

GreenPlum 大数据平台--集群恢复

一，问题描述20190711:10:38:38:002051 gpinitstandby:greenplum01:gpadmin-[ERROR]:-Cannot use -n option when standby master has not yet been configured20190711:10:38:38:002051 gpinitstandby:greenplum01:gpadmin

服务器

初始化

重启

原创 2022-01-20 17:11:24 261 阅读

GreenPlum 大数据平台--基础使用(二)

连接参数连接参数描述环境变量应用名称连接到数据库的应用名称，保存在application_name连接参数中。默认值是psql。$PGAPPNAME数据库名用户想要连接的数据库名称。对于一个刚初始化的系统，第一次可使用postgres数据库来连接。$PGDATABASE主机名Greenplum数据库的Master的主机名。默认主机是本地主机。$PGHOST端口Greenplum数据库的Master

数据库

主机名

postgresql

原创 2022-01-20 17:10:44 160 阅读

GreenPlum 大数据平台--segment 失效问题排查

01，segment　　检查一：　　在master节点上检查失效的segment　　正常情况下：1 20190711:16:08:57:024059 gpstate:greenplum01:gpadmin-[INFO]:-Starting gpstate with args: -e 2 20190711:16:08:57:024059 gpstate:greenplum01:gpadmin-[IN

sql

3d

3c

原创 2022-01-20 17:08:17 509 阅读

GreenPlum 大数据平台--常用命令

gpstate 命令参数作用 gpstate -b => 显示简要状态 gpstate -c => 显示主镜像映射 gpstart -d => 指定数据目录（默认值：$MASTER_DATA_DIRECTORY） gpstate -e => 显示具有镜像状态问题的片段 gpstate -f => 显示备用主机详细信息 gpstate -i =>

配置参数

postgresql

数据目录

it

原创 2022-01-16 14:33:52 480 阅读

常用gp_toolkit监控语句

数据库

外部表

日志文件

it技术

原创 2022-01-13 10:30:57 182 阅读

gp 日常使用脚本

--查询某schema下所有函数的属主 SELECT n.nspname AS "Schema",p.proname AS "Name",pg_catalog.pg_get_userbyid(p.proowner) AS "Owner" FROM pg_catalog.pg_proc p LEFT JOIN pg_catalog.pg_namespace n ON n.oid = p.pro

分区表

文件大小

sql

it技术

原创 2022-01-13 10:30:57 494 阅读

PostgreSQL/PPAS CPU使用率高的排查及解决办法【转】

问题描述 RDS for PostgreSQL/PPAS使用过程中，可能会遇到CPU使用率过高甚至达到100%的情况。本文将介绍造成该状况的常见原因以及解决方法，并通过CPU使用率为100%的典型场景，来分析引起该状况的排查及其相应的解决方案。解决方案 CPU利用率到达100%，首先检查是不是业务高峰活跃连接陡增，而数据库预留的资源不足。需要查看问题发生时，活跃的连接数是否比平时多很多。对于RD

sql

sql语句

连接数

it技术

原创 2022-01-13 10:30:56 876 阅读

Postgresql ->xmax xmin

01,　　xmin, xmax 　　在元组的头部记录着2个特殊的标记值，xmin和xmax；xmin表示插入该元组的事务号，xmax表示删除该元组的事务号 02,　理解xmin、xmax　　　执行select查询时，会首先获取一个数据库快照，该快照也包括xmin和xmax，这里的xmin表示当前已完成的事务的最小id，xmax表示正在执行的事务的最大id，任何小于xmin的事务被认为已完成，任何

元组

标识符

数据

it技术

原创 2022-01-13 10:30:55 564 阅读

GreenPlum 大数据平台--分区表(二)

01,创建分区表 [PARTITION BY partition_type (column) [SUBPARTITION BY partition_type (column)] [SUBPARTITION TEMPLATE (template_spec)] [...] (partition_spec) |[SUBPARTITION BY p

分区表

数据

hadoop

it技术

原创 2022-01-11 10:57:42 836 阅读

GreenPlum 大数据平台--外部表(三)

一,外部表介绍　　Greenplum 在数据加载上有一个明显的优势,就是支持数据的并发加载,gpfdisk是并发加载的工具,数据库中对应的就是外部表　　所谓外部表，就是在数据库中只有表定义、没有数据，数据都存放在数据库之外的数据文件。greenplum可以对一个外部表执行正常的DML操作，当读取数据的时候，数据库从数据文件中加载数据。外部表支持在segment上并发地告诉从gpfdist导入数

外部表

数据

数据库

it技术

原创 2022-01-11 10:57:41 733 阅读

堆表、AO表行存列存

1、堆表堆表是PostgreSQL数据库原生存储格式，GreenPlum默认的存储格式。堆表存储在OLTP类型负载下表现最好，这种环境中数据会在初始载入后被频繁地修改。 UPDATE和DELETE操作要求存储行级版本信息来确保可靠的数据库事务处理。堆表最适合于较小的表，例如维度表，它们在初始载入数据后会经常被更新。多适合用于OLTP系统。但GreenPlum常定位是用于OLAP系统。为了更适

数据

数据文件

数据仓库

it技术

原创 2022-01-11 10:57:40 1445 阅读

GP 锁表查询

01，查询锁表情况 SQL> select * from gp_toolkit.gp_locks_on_relation WHERE lorrelname like '%wpp_cdefect_glass_f%'; 详细查询： SELECT pid,rolname, rsqname, granted, current_query, datname FROM pg_roles,

数据库

元组

客户端

it技术

原创 2022-01-11 10:57:40 2057 阅读

greenplum PG_STAT_BGWRITER视图

PG_STAT_BGWRITER视图显示关于后端写进程活动的统计信息。 PG_STAT_BGWRITER字段名称类型描述 checkpoints_timed bigint 执行的定期检查点数。 checkpoints_req bigint 执行的需求检查点数。 checkpoint_write_time double precision 花费

检查点

字段

重置

it技术

原创 2022-01-11 10:28:49 169 阅读

greemplum pg_stat_activity视图

一，pg_stat_activity 　　视图pg_stat_activity每行显示一个服务器进程同时详细描述与之关联的用户会话和查询。这些列报告当前查询上可用的数据，除非参数stats_command_string被关闭。此外，只有在检查视图的用户是超级用户或者是正在报告的进程的拥有者时，这些列才可见。列current_query中存储的查询文本字符串的最大长度可以通过服务器配置参数pgst

客户端

当前用户

数据库

it技术

原创 2022-01-11 10:28:48 202 阅读

postgres pg_stat_database视图

pg_stat_database视图列类型描述 datid（gp含有） oid 数据库的OID datname （gp） name 这个数据库的名字 numbackends（gp） integer 当前连接到该数据库的后端数。这是在返回一个反映目前状态值的视图中唯一的列；自上次重置所有其他列返回累积值。 xact_commit（gp） bigint 此数据库中已经提交的事务数 xact

数据库

数据库查询

临时文件

it技术

原创 2022-01-11 10:28:47 337 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

kingle

GreenPlum 大数据平台--远程访问-->gpadmin客户端

GreenPlum 大数据平台--介绍

GreenPlum 大数据平台--web监控

GreenPlum 大数据平台--运维(三)

GreenPlum 大数据平台--备份-邮件配置-gpcrondump & gpdbrestore(五)

GreenPlum 大数据平台--基础使用(一)

GreenPlum 大数据平台--运维(一)

GreenPlum 大数据平台--非并行备份(六)

GreenPlum 大数据平台--增加segment

GreenPlum 大数据平台--监控

GreenPlum 大数据平台--segment 失效问题恢复

GreenPlum 大数据平台--segment 失效问题恢复《二》（全部segment宕机情况下）

GreenPlum 大数据平台--安装

GreenPlum 大数据平台--并行备份(四)

GreenPlum 大数据平台--运维(二)

GreenPlum 大数据平台--集群恢复

GreenPlum 大数据平台--基础使用(二)

GreenPlum 大数据平台--segment 失效问题排查

GreenPlum 大数据平台--常用命令

常用gp_toolkit监控语句

gp 日常使用脚本

PostgreSQL/PPAS CPU使用率高的排查及解决办法【转】

Postgresql ->xmax xmin

GreenPlum 大数据平台--分区表(二)

GreenPlum 大数据平台--外部表(三)

堆表、AO表行存列存

GP 锁表查询

greenplum PG_STAT_BGWRITER视图

greemplum pg_stat_activity视图

postgres pg_stat_database视图

欢迎