Greenplum master节点是用来存储元数据的，包括 : 序列，表，临时表，分区，函数，视图，类型，操作符，规则，触发器 等。 segment 上也会存储部分元数据， 序列，表，临时表，函数，视图，类型，操作符，规则，触发器 等。 master比segment更多的信息包括： 分布策略，分区表，以及一些特殊的配置元数据。gp_distribution_policy
pg_partitio
转载
2024-04-05 13:49:03
66阅读
GPDB 的系统配置服务器配置文件包含着配置服务器行为的参数。Greenplum数据库的配置文件postgresql.conf 位于数据库实例的数据目录之下。Master和每一个Segment实例都有自己的postgresql.conf文件。 一些参数是本地的：每个Segment实例检查它的postgresql.conf文件来得到这类 参数的值。在Master和每一个Segment实例上都要设置本
转载
2024-05-07 07:25:37
290阅读
GREENPLUM总体结构： 数据库由Master Severs和Segment Severs通过Interconnect互联组成。Master主机负责：建立与客户端的连接和管理；SQL的解析并形成执行计划；执行计划向Segment的分发收集Segment的执行结果；Master不存储业务数据，只存储数据字典。 Segment主机负责：业务数据的存储和存
转载
2024-05-19 09:11:21
51阅读
背景机器为centos7.6机器，greenplum版本为6.16.0版本安装方式：rpm包离线安装Git地址：https://github.com/greenplum-db/gpdb/releases文档：http://docs-cn.greenplum.org/v6/homenav.html 单机点安装Rpm方式安装：安装依赖：libevent-2.0.21-4.el7.x86_64.rpmb
转载
2024-09-04 03:36:57
53阅读
3.2 日志分析是网站分析的基础，通过对网站浏览的日志进行分析，可以为网站优化提供数据支持，了解用户群以及用户浏览特性。3.2.1 应用场景描述分析全站每分钟的PV、UV，并导出到Excel中，画出折线图 解析uRL，获取URL中的参数列表。 通过URL取得member_id，然后统计当天浏览次数的用户分布，如分布在某个区间的用户分别有多少人。3.2.2 数据demo建表：drop table i
转载
2024-07-05 14:34:07
31阅读
Greenplum集群扩容总结Greenplum集群扩容总结 11 概述 22 扩容前准备 23 扩容方案对比 23.1 使用gpexpand进行数据库扩容 23.2 新建Greenplum集群，重新导入数据 34 查看集群的基本信息 34.1 查看集群的版本 34.2 查看master和stadby信息 44.3 查看segment信息 44.4 当前集群链接检查 44.5 查看集群的运行状态信
转载
2024-03-28 06:53:11
90阅读
1. 数据库启动：gpstart常用可选参数： -a : 直接启动，不提示终端用户输入确认
转载
2024-03-12 14:43:32
29阅读
Gpload安装手册（Linux版本）一、python 2.7版本Linux系统默认是安装python2.7的，如果没有需要手动安装（python版本要求2.4.4以上）；通过命令：python查看Python版本信息，如下图：二、PyYAML包安装2.1安装命令安装命令：pip install pyyaml2.2 检查安装输入：python输入：import yaml没有报错，则表示安装成功，如
Zabbix5.0监控Greenplum1.Greenplum集群介绍 Greenplum集群具有较好的容错性和高可用性，其中一点就体现在segment镜像机制上。接下来本文会简单地阐述segment的作用以及segment镜像机制是如何保证GP高可用的。Greenplum集群由一个Master和多个segment组成segment用来存储数据一台机器可以有多个segment每个segment是一
转载
2024-03-28 03:40:40
12阅读
第一次接触分布式的数据库，对于各种配置都不是很熟悉，经过网上各种查资料，显示仔细阅读，了解原理，终于功夫不负有心人，经历一次失败后，让我配置成功了！因此做了总结以便以后查看，也用来和大家交流经验。下面我就详细说一下安装步骤：一、安装环境系统：centos 6.8服务器：四台，每台2个CPU，每个CPU是4核二、安装要求1、服务器的基本配置192.168.0.101 master
192
Segment镜像允许数据库查询在主Segment失效或者不可用时转移到备份Segment上。Pivotal要求对其支持的生产Greenplum数据库系统采用镜像。为了确保高可用，主Segment及其镜像必须位于不同主机上。Greenplum数据库系统中的每一台主机都有相同数量的主Segment和镜像Segment。多连接主机应该在每个接口上有相同数量的主Segment和镜像Segment。这能确
转载
2024-03-15 21:03:28
184阅读
磁盘管理的基本流程1.查看设备：fdisk -l2.分区：fdisk -cu 设备名(n-p-1-回车-回车-w)3.重读分区表：partx -a 设备名称4.格式化：mkfs.ext4 分区名称5.挂载：mount 分区名 挂载点6.永久挂载：echo "分区名 挂载点 ext4 defa
一、备份原理：GPDB4.x中：是基于文件复制同步，如果个别segment宕机，整个数据库依然可以运行，当Mirror宕机时，Primary会记录在这个阶段文件变化的数据块，等到Mirror恢复了，再把数据块复制过去；当Primary宕机了，那么对于的Mirror节点就会替换Primary，记录文件变化的数据块，等到Primary恢复了，它就变成了Mirror，丢失的数据就会被复制过来，这里虽然可
原创
精选
2019-01-07 15:53:01
10000+阅读
1评论
转载
2019-07-04 14:12:00
231阅读
2评论
1、评估存储能力a.计算可用的空间 步骤1：初始存储能力=硬盘大小*硬盘数 步骤2：配置RAID10，格式化磁盘空间=(初始存储能力*0.9)/2 步骤3：可用磁盘空间=格式化磁盘空间*0.7 步骤4：用户数据使用空间 使用镜像：(2*用户数据)+用户数据/3=可用磁盘空间 不使用镜像：用户数据+用户数据/3=可用磁盘空间b.计算用户数据大小 平均来说，实际占用磁盘空间
转载
2019-07-02 10:50:00
191阅读
2评论
关联数据在不同节点上，对于普通关系型数据库来说，是无法进行连接的。关联的数据需要通过网络流入到一个节点中进行计算，这样就需要发生数据迁移。数据迁移有广播和重分布两种。在GP中，每一个广播或重分布会产生一个切片，每一个切片在每个数据节点上都会对应发起一个进程来处理该slice负责的数据，上一层负责该slice的进程会读取下级slice广播或重分布的数据，然后进行相应的计算。当两张表关联的时候，如果有
转载
2024-09-24 14:59:50
74阅读
GreenPlum参数调优段设置确定每个段主机上段数据库的个数对整体性能有着巨大影响。这些段数据库之间共享主机的 CPU 核、内存、网卡等，且和主机上的所有进程共享这些资源。过高地估计每个服务器上运行的段数据库个数，通常是达不到最优性能的常见原因之一。下因素确定了一个主机上可以运行多少个段数据库：CPU 核的个数物理内存容量网卡个数及速度存储空间主段数据库和镜像共存主机是否运行 ETL 进程主机上
转载
2024-02-25 10:19:03
208阅读
说起Greenplum这个产品，最早是SUN来推他们的数据仓库产品DWA时接触到的，对这个由PgSQL堆叠出来的数据库产品还不是很了解，当时的焦点还在DWA本身的硬件上，当然不可否认，DWA还是有一些特点的。后来，我们发现普通的PC+SAS磁盘具备非常好的吞吐能力，完全不逊于某些昂贵的存储设备。这样我们就尝试用PC+Greenplum搭建了一个 环境，效果完全超出了我们的预期，吞吐量完全超过
转载
2024-06-19 06:07:24
54阅读
Greenplum 分区表 Greenplum分区表的原理和postgresql的原理相同，都是把一张大表进行按照适合的维度进行分割，通过表的继承，规则，约束实现的。 在Greenplum中，一个表是否分区表保存在pg_partition中.GP在建表的时候会有一个DISTRIBUTED BY选项，这个是表进行物理拆分，理解一下分区和分布： 1.分区，按照字段逻辑进行逻辑划分的区域，比如，时间按天
转载
2024-04-25 11:00:56
77阅读
