访问Hadoop集群中数据用到的工具有 外部表 external tables 和 gphdfs 协议， Greenplum 可以从 HDFS 上读取文件也可以向 HDFS 写文件。为了达到更快的性能，所有的段数据库是并行地读取 HDFS 中的数据。当Hadoop集群采用的是 Kerbes 实现集群中各个节点的认证的，以确保集群数据不被恶意攻击。那么 Greenplum 必须使用的用户为 gpad
转载
2024-04-29 17:45:45
40阅读
一.不同大版之前分区改进pg9使用继承式分区，pg10实现了声明式分区，pg11完善了功能，pg12提升了性能不同版本在分区表上的性能改进版本新增特性pg91.继承式分区 2.手动添加触发器或规则pg101.声明式分区 2.分区索引手动创建，不能基于分区父表创建pg111.新增哈希分区 2.基于的分区表创建索引 3.支持update分区 4.会创建一个默认default分区 5.分区支持创建主键，
gp 可以处理大量数据, hadoop 可以处理海量. gp 只能处理湖量,或者河量. 无法处理海量. greenplum采取的是PostgreSQL框架，是PostgreSQL系的重要应用。从这个角度上可以知道GreenPlum是关系型数据库。Hadoop框架是一种分布式的平台设计理念。它本身不是数据库。其中Impala可以认为是一种非关系型的数据库, Hive相当于SQL。 
转载
2023-07-17 16:24:21
84阅读
目录一、安装说明1.1 软件版本1.2 集群介绍二、master节点GreenPlum安装2.1 安装环境准备2.1.1修改 /etc/hosts文件2.1.2 修改 etc/sysconfig/network文件2.1.3 修改 /etc/sysctl.conf文件2.1.4 修改 /etc/security/limits.d/90-nproc.conf文件2.1.5 修改 /etc/secur
转载
2024-05-29 08:05:31
195阅读
PostgreSQL 序列（SEQUENCE）一、简介序列对象（也叫序列生成器）就是用CREATE SEQUENCE 创建的特殊的单行表。一个序列对象通常用于为行或者表生成唯一的标识符。二、创建序列方法一：直接在表中指定字段类型为serial 类型david=# create table tbl_xulie (
david(# id serial,
david(# name text);
NOTI
转载
2024-04-09 08:00:48
145阅读
基于软件，并针对商业硬件进行了优化
软件很容易安装到多家一级供应商提供的商业x86服务器上，并在Linux和Solaris上运行。
线性扩展性能
“完全不共享”体系和并行查询优化可以确保线性扩展性能和容量，将其扩展到成本上千个节点和处理器内核。
支持MapReduce
MapReduce已经被Google和Yahoo等重要的互连网服务运营商证明是
转载
2024-03-22 15:40:24
48阅读
Greenplum , HAWQ outer join与motion问题讲解 作者digoal 背景Greenplum，HAWQ是分布式的数据库，在建表时，我们可以选择分布列，或者选择随机分布。多个表做等值JOIN时，如果JOIN列为分布列，则不需要进行数据的重分布。但是，如果使用的是OUTER JOIN，情况就不一样了，你可能会发现多个表进行outer join时，如果JOIN列都是HASH分布
转载
2024-06-18 11:03:42
47阅读
1. 数据库启动：gpstart 常用可选参数：-a : 直接启动，不提示终端用户输入确认 &nb
转载
2024-03-23 09:02:49
81阅读
Greenplum是一个分布式数据库系统，因此其所有的业务数据都是物理存放在集群的所有Segment实例数据库上；在Greenplum数据库中所有表都是分布式的，所以每一张表都会被切片，每个Segment实例数据库都会存放相应的数据片段。 一、并行计算的基础1、Hash分布 语法：CREATE TABLE ... DISTRIBUTED BY （column [,......
转载
2023-05-27 16:27:00
460阅读
Greenplum既支持行存储，也支持列存储。行存储优劣分析Greenplum行存储(堆表)的优势数据顺序写入BLOCK中，持续写入的情况下，一条记录命中在一个块中，IO开销相对比较小，速度较快。查询多个字段时，因为记录在一个块中命中，速度较快。Greenplum行存储(堆表)的劣势查询少量字段时，也要访问整条记录，造成一定的IO浪费。行存储的压缩比有限。行存储适合什么应用场景行存储适合非常典型的
转载
2024-03-18 08:33:25
79阅读
gpload是Greenplum数据库提供的数据加载工具，同时支持开源Greenplum、Pivotal Greenplum及其他基于开源Greenplum的衍生版本（除非这个版本想不开，把这个功能阉割了?♂️）。gpload属于客户端工具，类似于Oracle的SQL*Loader，如果服务器上已经安装了Greenplum的Server包，默认已经包含了gpload工具；另外您也可以将gpload
转载
2024-04-03 10:34:40
128阅读
Pivotal Greenplum 6.0 新特性介绍Pivotal Greenplum 6.0 新特性介绍1. PGSQL版本升级2. HTAP （OLAP + OLTP）性能大幅提升3. 支持复制表（Replicated Table）4. 在线扩容（Online expand)和一致性哈希（Jump Consistent Hash）5. 磁盘配额（Disk Quota）6. 支持Zstanda
转载
2024-05-25 19:08:08
210阅读
修改初始化（gpinitsystem_config）文件在安装greenplum的最后几步中，在运行初始化工具之前（-c gpinitsystem_config），先要修改（gpinitsystem_config）文件，各个参数信息如下： 1.对于primary和mirror的地址路径而言，在一台segment主机上要建立几个节点，就写入几个地址；而且在新建集群初始化的时候，mirror节点的分布
转载
2024-03-24 10:40:59
57阅读
为了方便大家更好的了解和使用Greenplum数据库，我们将陆续推送Greenplum数据库文档的相关内容。该文档转自由武汉大学彭煜玮，邰凌翔，韩珂，兰海翻译的《Greenplum数据库中文文档》。这一节给出了Greenplum数据库组件和特性的概述，例如高可用性、并行数据装载特性以及管理工具。关于Greenplum的架构Greenplum数据库是一种大规模并行处理（MPP）数据库服务器，其架构特
转载
2024-05-11 17:39:48
88阅读
目录一、监控1. 检查系统状态2. 检查磁盘空间使用（使用率不能超过70%）3. 检查数据分布倾斜4. 查看数据库对象的元数据信息5. 查看会话的内存使用6. 查看查询的工作文件使用7. 查看服务器日志文件8. 使用gp_toolkit9. SQL标准错误码二、例行系统运维任务1. 例行vacuum与analyze2. 例行重建索引3. 管理GP数据库日志文件三、推荐的监控与运维任务1. 监控数据
转载
2024-05-05 21:52:40
70阅读
公司有个项目需要安装greenplum数据库，让我这个gp小白很是受伤，在网上各种搜，结果找到的都是TMD坑货帖子，但是经过4日苦战，总算是把greenplum的安装弄了个明白，单机及集群模式都部署成功，下面由我给大家分享一下整个部署过程，并小分析一下安装过程中遇到的各种坑。首先，说一下我的环境，CentOS 7.2.1511，64位操作系统，全新安装，没有更新过 [root@mdw ~]# c
转载
2024-03-20 13:22:50
43阅读
活动介绍为了让大家对Greenplum的内核有更深入的了解，让大家在开发或者是使用Greenplum过程中更加得心应手，Greenplum中文社区与阿里云开发者社区、机械工业出版社华章公司合作，将开展深入浅出Greenplum内核系列直播课程，邀请Greenplum原厂内核讲师，从开发人员视角，理论配合实例，深入浅出地详尽剖析Greenplum主要核心模块，讲解Greenplum模块背后的设计思路
分布列选择黄金法则由于Greenplum是一个分布式的数据库，数据是分散存储在各个数据节点的，所以需要告诉Greenplum数据应该如何分布。短板效应当用户请求QUERY时，Greenplum会在所有的节点并行执行，所以最慢的节点会成为整个系统的瓶颈。Greenplum 支持的分布算法 :用户可以指定 分布列(允许指定多个列) ，或者使用 随机分布 算法。那么用户应该如何选择分布列，或者是否要使用
转载
2024-02-26 15:16:04
63阅读
1. 数据库启动：gpstart常用可选参数： -a : 直接启动，不提示终端用户输入确认
转载
2024-07-29 19:39:57
100阅读
看上面的对话是不是感觉似曾相识，这几天你有没有遇到？近期，Clubhouse音频社交App一夜爆红，朋友圈被刷屏“一码难求”。但当你第一眼看到“Clubhouse”时，会不会看成了“Clickhouse”。别困惑，这不是你的错！当我怀疑自己的时候，产品研发人纷纷表示“我不是一个人”。虽说两者“长得像”，但产品不能说是一摸一样，只能说是毫无关系。可是为啥只有研发会看错，这是因为Clickhouse是
