活动介绍为了让大家对Greenplum的内核有更深入的了解，让大家在开发或者是使用Greenplum过程中更加得心应手，Greenplum中文社区与阿里云开发者社区、机械工业出版社华章公司合作，将开展深入浅出Greenplum内核系列直播课程，邀请Greenplum原厂内核讲师，从开发人员视角，理论配合实例，深入浅出地详尽剖析Greenplum主要核心模块，讲解Greenplum模块背后的设计思路
Greenplum 日志管理
日志路径
$GPADMIN_HOME 是操作系统用户gpadmin的家目录路径。
$MASTER_DATA_DIRECTORY是Greenplum数据库master主机的数据目录。
$GPDATA_DIR是Greenplum数据库segment主机的数据目录。
host表示segment主机的主机名。
segprefix是segment前缀。
N是se
转载
2024-04-24 14:48:53
214阅读
Deepgreen分布式安装文档环境准备1、安装VMware虚拟机软件，然后在VMware安装三台Linux虚拟机(使用centos7版本)2、使用的虚拟机如下：192.168.136.155 mdw192.168.136.156 sdw1192.168.136.157 sdw22.1三台虚拟机分别修改主机名为：mdw/sdw1/sdw2[root@localh
今天踩坑了，把powerdesign生成的sql脚本文件，用pg_restore命令一直运行。。。 过程惨不忍睹，一直以为是编码问题，修改了serve和client的encoding，结果。。。记录一下这个错误：postgreSQL运行sql脚本文件：psql -d dbname -U username -f (脚本所在位置).sqlpostgerSQL的pg_restore命令用法: pg_re
转载
2024-04-03 08:54:24
207阅读
/*--特别注意
请按步骤进行,未进行前面的步骤,请不要做后面的步骤
否则可能损坏你的数据库.
--*/
1.清空日志
DUMP TRANSACTION 库名 WITH NO_LOG
2.截断事务日志：
BACKUP LOG 数据库名 WITH
一、Greenplum具有令人耳目一新的价值主张：以更低的成本提供更多功能。对于那些希望摆脱Oracle，Teradata和Snowflake等专有系统的人来说，“花更少来获得更多”的口号毫无疑问具有很大的吸引力。数据库市场也开始涌现许多的新进入者，Jacque在演讲中提到，市场上用于解决小众用例而量身定制的工具正在激增，在某些特定的场景下发挥着它们各自的作用。但是对于一个可以处理各种企业场景的平
目录9.1 权限与角色管理9.1.1 Greenplum中的角色与权限9.1.2 管理角色及其成员9.1.3 管理对象权限9.1.4 口令加密9.2 数据导入导出9.2.1 file协议及其外部表9.2.2 gpfdist协议及其外部表9.2.3 基于Web的外部表9.2.4 外部表错误处理9.2.5 使用gpload导入数据9.2.6 使用COPY互拷数据9.2.7 导出数据9.2.8 格式化数
转载
2024-08-04 10:30:55
95阅读
Greenplum的日志管理本篇文档首先介绍GP的日志架构，日志工具的使用说明，然后介绍一下日志的定期清理配置案例 目录Greenplum的日志管理日志架构日志路径日志说明日志常用的参数和配置方案日志过滤工作的使用检查segment日志gplogfilter+gpssh工具组合在所有segment节点进行查找查看时间段的筛选 gp_toolkit.gp_log*gp
转载
2024-08-12 12:51:24
29阅读
Greenplum数据库集成了三种服务器：主服务器，段服务器和ETL服务器。 Greenplum数据库服务器必须符合以下标准。MasterServers通常是1U服务器与段服务器相同的处理器，RAM，RAID卡和NICs 卡将6到10个磁盘（最常见的8个）组织到一个RAID5组中，并配置一个热备份SAS 15k磁盘首选，10k磁盘紧随其后所有磁盘必须具有相同的大小和类型最多可以抽取400W左右gp
转载
2024-04-01 08:20:00
76阅读
目录一、安装说明1.1 软件版本1.2 集群介绍二、master节点GreenPlum安装2.1 安装环境准备2.1.1修改 /etc/hosts文件2.1.2 修改 etc/sysconfig/network文件2.1.3 修改 /etc/sysctl.conf文件2.1.4 修改 /etc/security/limits.d/90-nproc.conf文件2.1.5 修改 /etc/secur
转载
2024-05-29 08:05:31
195阅读
PostgreSQL 序列（SEQUENCE）一、简介序列对象（也叫序列生成器）就是用CREATE SEQUENCE 创建的特殊的单行表。一个序列对象通常用于为行或者表生成唯一的标识符。二、创建序列方法一：直接在表中指定字段类型为serial 类型david=# create table tbl_xulie (
david(# id serial,
david(# name text);
NOTI
转载
2024-04-09 08:00:48
145阅读
Greenplum , HAWQ outer join与motion问题讲解 作者digoal 背景Greenplum，HAWQ是分布式的数据库，在建表时，我们可以选择分布列，或者选择随机分布。多个表做等值JOIN时，如果JOIN列为分布列，则不需要进行数据的重分布。但是，如果使用的是OUTER JOIN，情况就不一样了，你可能会发现多个表进行outer join时，如果JOIN列都是HASH分布
转载
2024-06-18 11:03:42
47阅读
基于软件，并针对商业硬件进行了优化
软件很容易安装到多家一级供应商提供的商业x86服务器上，并在Linux和Solaris上运行。
线性扩展性能
“完全不共享”体系和并行查询优化可以确保线性扩展性能和容量，将其扩展到成本上千个节点和处理器内核。
支持MapReduce
MapReduce已经被Google和Yahoo等重要的互连网服务运营商证明是
转载
2024-03-22 15:40:24
48阅读
1. 数据库启动：gpstart 常用可选参数：-a : 直接启动，不提示终端用户输入确认 &nb
转载
2024-03-23 09:02:49
81阅读
分布列选择黄金法则由于Greenplum是一个分布式的数据库，数据是分散存储在各个数据节点的，所以需要告诉Greenplum数据应该如何分布。短板效应当用户请求QUERY时，Greenplum会在所有的节点并行执行，所以最慢的节点会成为整个系统的瓶颈。Greenplum 支持的分布算法 :用户可以指定 分布列(允许指定多个列) ，或者使用 随机分布 算法。那么用户应该如何选择分布列，或者是否要使用
转载
2024-02-26 15:16:04
63阅读
公司有个项目需要安装greenplum数据库，让我这个gp小白很是受伤，在网上各种搜，结果找到的都是TMD坑货帖子，但是经过4日苦战，总算是把greenplum的安装弄了个明白，单机及集群模式都部署成功，下面由我给大家分享一下整个部署过程，并小分析一下安装过程中遇到的各种坑。首先，说一下我的环境，CentOS 7.2.1511，64位操作系统，全新安装，没有更新过 [root@mdw ~]# c
转载
2024-03-20 13:22:50
43阅读
gpload是Greenplum数据库提供的数据加载工具，同时支持开源Greenplum、Pivotal Greenplum及其他基于开源Greenplum的衍生版本（除非这个版本想不开，把这个功能阉割了?♂️）。gpload属于客户端工具，类似于Oracle的SQL*Loader，如果服务器上已经安装了Greenplum的Server包，默认已经包含了gpload工具；另外您也可以将gpload
转载
2024-04-03 10:34:40
128阅读
Greenplum是一个分布式数据库系统，因此其所有的业务数据都是物理存放在集群的所有Segment实例数据库上；在Greenplum数据库中所有表都是分布式的，所以每一张表都会被切片，每个Segment实例数据库都会存放相应的数据片段。 一、并行计算的基础1、Hash分布 语法：CREATE TABLE ... DISTRIBUTED BY （column [,......
转载
2023-05-27 16:27:00
460阅读
修改初始化（gpinitsystem_config）文件在安装greenplum的最后几步中，在运行初始化工具之前（-c gpinitsystem_config），先要修改（gpinitsystem_config）文件，各个参数信息如下： 1.对于primary和mirror的地址路径而言，在一台segment主机上要建立几个节点，就写入几个地址；而且在新建集群初始化的时候，mirror节点的分布
转载
2024-03-24 10:40:59
57阅读
为了方便大家更好的了解和使用Greenplum数据库，我们将陆续推送Greenplum数据库文档的相关内容。该文档转自由武汉大学彭煜玮，邰凌翔，韩珂，兰海翻译的《Greenplum数据库中文文档》。这一节给出了Greenplum数据库组件和特性的概述，例如高可用性、并行数据装载特性以及管理工具。关于Greenplum的架构Greenplum数据库是一种大规模并行处理（MPP）数据库服务器，其架构特
转载
2024-05-11 17:39:48
88阅读
