踩坑记录:本地是mac的环境,docker 和docker compose 已经安装完成了, 都是最新版, 按照greenplum的github上的指导, 安装了mac的版本, 报错, 又安装了docker的版本还是报错, 没有办法, 选择了百度, 这篇恰好解决了问题.安装成功了.本地安装docker 和 docker compose的步骤就省略了. 可以自己安装, 这个很常见. 就不意义废话了.            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-01-16 09:48:19
                            
                                51阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            前 言为什么写作本书阿里巴巴是国内最早使用Greenplum作为数据仓库计算中心的公司。从2009年到2012年Greenplum都是阿里巴巴B2B最重要的数据计算中心,它替换掉了之前的Oracle RAC,有非常多的优点。
Greenplum的性能在数据量为TB级别时表现非常优秀,单机性能相比Hadoop要快好几倍。
Greenplum是基于PostgreSQL的一个完善的数据库,在功能和语法上            
                
         
            
            
            
              PostgreSQL   
 PostgreSQL是以加州大学伯克利分校计算机系开发的 POSTGRES,现在已经更名为POSTGRES,版本 4.2为基础的对象关系型数据库管理系统(ORDBMS)。PostgreSQL支持大部分 SQL标准并且提供了许多其他现代特性:复杂查询、外键、触发器、视图、事务完整性、MVCC。同样,PostgreSQL 可以用许多方法扩展,比如, 通过增加            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-11-14 23:36:44
                            
                                78阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            一、目的1、 理解Greenplum中的数据分布策略(random 和 distribution),分析不同分布策略的优劣;2、 理解查询执行中的数据广播和数据重分布,分析在何种情况下选择哪种策略,以具体实验验证;3、借助explain指令,分析select、join、group等常用sql语句的执行流程;4、查看相关文档理解SQL中窗口函数的语义,分析窗口函数的执行语义,以实验验证。(            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-04-20 09:39:53
                            
                                107阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            greenplum:命令 MPP(大规模并行处理)数据库在商品服务器集群中的每个节点上分布数据和查询。 Greenplum建立MPP数据仓库的方法是独特的。 通过在已建立的开源数据库PostgreSQL上构建,他们可以将工程重点放在增加价值的地方:并行化和关联的查询计划,用于分析的列式数据存储以及管理功能。  Greenplum由Pivotal拥有和开发,并得到了开源社区的支持,并且可以根据Apa            
                
         
            
            
            
            目录结构  
   Greenplum数据库快速入门文章快速说明索引学习资料相关分享打造内核开发环境gp数据库快速入门gp数据库的特性gp数据库的组成gp常用操作演示gp安装目录说明 文章快速说明索引打造内核开发环境在上一篇,我们介绍了GreenPlum数据库 内核开发 的环境配置,如下:GreenPlum的学习心得和知识总结(二)|打造Greenplum数据库内核开发环境,点击前往接下来,我们            
                
         
            
            
            
            课程介绍         本主题通过介绍 Greenplum 架构实现,及其亮点特性,辅之对比传统关系型数据库,这几年新兴的分布式大数据处理框架 Hadoop。 课程收益     以剖析GP的技术点为主,定位 GP 的优势和适应场景,同时对比Hadoop 但不会涉及得很深。 观            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2016-04-06 11:10:59
                            
                                192阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            DB2和GreenPlum对比架构:都是MPP,SHARE NOTHING类型:DB2 RDBMS +对象存储扩展+XMLGP ORDBMS(对象关系数据库管理系统)特性:扩展性-->都具良好的扩展性,节点的增加,性能线性提升(DB2分区数据库特性,GP多segment特性)适用性-->都适合大型数据仓库系统的搭建,OLAP应用可用性-->都同时支持扩容后,节点数据的在分布,可联            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-16 15:08:02
                            
                                172阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析 
网盘地址1:https://pan.baidu.com/s/1jJXzcfs 密码: ty5g 
网盘地址2:https://pan.baidu.com/s/1dpGaIy 密码: wmxh 
备用地址(腾讯微云):http://url.cn/5K6k3Ks 密码:a0DN            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-11-15 15:11:04
                            
                                71阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            # Greenplum 和 Hadoop 对比
在大数据时代,数据存储和处理技术的发展日新月异。Greenplum 和 Hadoop 是两种广泛使用的数据处理平台,各自具有独特的优势和使用场景。本文将对这两者进行详细对比,并结合代码示例和流程图,帮助大家更好地理解它们的特点和适用场景。
## 什么是 Greenplum?
Greenplum 是一个开源的共享-nothing 分布式数据库,主            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-09-12 04:55:54
                            
                                164阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            一、Greenplum 是什么      是一款开源的分布式数据库存储解决方案,其主要关注在数据仓库和商业智能方面。可以在虚拟化x86服务器上运行无分享(shared-nothing)的大规模并行处理(MPP)架构。Greenplum最早是在10多年前(大约在2002年)出现的,基本上和Hadoop是同一时期(Hadoop 约是2004年前后,早期的Nutch可追溯到            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-24 23:28:10
                            
                                288阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            作者介绍:黄辉,16年毕业于电子科技大学并加入腾讯。目前在腾讯云存储产品团队从事云数据库开发工作,喜欢研究分布式数据库相关技术(如:分布式事务,高可用性等)。阅读原文,更多技术干货,请访问腾云阁。之前对GreenPlum与Mysql进行了TPC-H类的对比测试,发现同等资源配比条件下,GreenPlum的性能远好于Mysql,有部分原因是得益于GreenPlum本身采用了更高效的算法,比如说做多表            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-05-22 15:37:02
                            
                                127阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Oracle RAC是Oracle Real Application Cluster的简写,官方中文文档一般翻译为“真正应用集群”,它一般有两台或者两台以上同构计算机及共享存储设备构成,可提供强大的数据库处理能力,现在是Oracle 10g Grid应用的重要组成部分。RAC(Race Game)指竞速类游戏   
   Oracle数据库的查询速度要比GP数据库的查询速度慢4倍左右 
            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-02-27 20:58:00
                            
                                27阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            标签 PostgreSQL , Greenplum , 垃圾回收 , vacuum 背景 在Greenplum中删除、更新数据记录时,会产生新的tuple版本,老的版本通过行头部标记:为已删除以及被哪个事务删除的。 因此频繁的更新后,或者批量的删除数据后,需要回收那些旧的版本。 通过vacuum、vacuum full、alter table redistribute命令,可以回收垃圾。 《如何            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-12-12 13:52:41
                            
                                47阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            1、GreenPlum应用场景:Greenplum适用TB级别数据仓库、集市、ODS、交互式分析数据平台等系统。 不适用于极短的时间处理大量的并发小任务(OLTP)。优点:Master-Slave架构、ShareNothing体系、采用Postgresql作为底层引擎缺点: 1.扩展性差:数据采用Hash分布在各个节点,计算节点和存储紧密耦合,在增加节点后,需要对数据做重分布才能保证数据与节点的紧            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-12 10:33:12
                            
                                98阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            # Greenplum 对比 Hadoop:选择合适的大数据解决方案
随着大数据技术的快速发展,许多企业需要对海量数据进行处理和分析。**Greenplum** 和 **Hadoop** 是两种常用的大数据处理技术,它们各有特点,适合不同的应用场景。本文将深入探讨它们的差异,并通过代码示例来阐明具体用法。
## Greenplum
Greenplum 是一种基于 PostgreSQL 的开源            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-10-14 03:30:06
                            
                                21阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            前言Greenplum是基于PostgreSQL开发的关系型分布式数据库,它在开源的PG(PostgreSql)的基础上采用MPP架构(Massive Parallel Processing,海量并行处理),具有强大的大规模数据分析任务处理能力。为对比DM数据库与Geenplum的各项指标,在虚拟机中完成两节点单实例的GP集群搭建操作。集群部署实践1. 操作环境说明本次实践使用到的环境如下: Li            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-24 06:33:10
                            
                                68阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            目录1 MongoDB简介1.1 初识MongoDB1.2 MongoDB与传统的关系型数据库的区别1.3 MongoDB存储结构1.4 BSON支持的数据类型2  MongoDB Shell操作3 MongoDB集群操作1 MongoDB简介1.1 初识MongoDB        MongoDB来源自英文单词"Humongous”,译为“庞大的            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-06-23 06:40:18
                            
                                22阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            1. Greenplum数据库简介Greenplum是基于开源PostgreSQL的分布式数据库,采用shared-nothing架构,即主机、操作系统、内存、存储都是每台服务器独立自我控制,不存在共享。Greenplum本质上是一个关系型数据库集群,实际上是由多个独立的数据库服务组合而成的一个逻辑数据库。与Oracle的RAC不同,这种数据库集群采取的是MPP(Massively Paralle            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-10-02 19:40:57
                            
                                84阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            因为公司金融项目正式上线,有等保的要求,所有的线上服务器对操作过历史命令都要记录下来,需要修改一部分的配制文件。总共有300多台Linux服务器,总不能一台一台去改吧。首先想到是ansble,saltstack这两个批量管理的,但是想了想,saltstack不会,ansble好像是好像是被管理端还要安装客户端的,又不经常使用(线上的环境),弄好了还要编排剧本,语法都忘记了。有没有更轻量一点的工具呢            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-04-19 16:01:27
                            
                                63阅读