Hadoop的总体概述Hadoop起源于谷歌的集群系统，谷歌的数据中心使用廉价Linux PC机组成集群，在上面运行各种应用。其核心组件有3个：第一个就是，GFS（GOOgle File Syetem），一个分布式文件系统，隐藏下层负载均衡冗余复制等细节，对上层程序提供一个统一的文件系统API接口。第二个是MapReduce的，谷歌发现大多数分布式运算可以抽象为MapReduce的操作.MAP是把
转载
2024-01-08 13:31:01
72阅读
有限合伙制基金及基金管理企业的合伙人分为有限合伙人(LP, Limited Partner)及普通合伙人(GP, General Partner)。简单而言，有限合伙人即真正的投资者，但不负责具体经营；只有其中的普通合伙人有权管理、决定合伙事务，负责带领团队运营，对合伙债务负无限责任。
1)普通合伙人对合伙企业债务负无限责任。有限合伙人只以其出资对合伙企业负有限责任；
&nbs
转载
精选
2013-05-06 12:23:18
1128阅读
概述今天主要介绍Oracle数据库的三大索引类型，仅供参考。 一、B-Tree索引三大特点：高度较低、存储列值、结构有序1.1利用索引特性进行优化外键上建立索引：不但可以提升查询效率，而且可以有效避免锁的竞争(外键所在表delete记录未提交，主键所在表会被锁住)。统计类查询SQL：count(), avg(), sum(), max(), min()排序操作：order by字段建立
转载
2024-04-17 12:50:50
59阅读
GP高可用原理下面重点讲GP的同步原理。这个图是用了阿里云之前的blog里面的一个图案。在GP里面它是有master这种架构，在master节点上，用户连到GP之后，后台会起相应的back进程的处理用户的请求。当比如有建表或者删表或者更新数据字典的操作的时候，是通过Postgres的WAL日志流复制的方式，比如说新建一个表，就会先把这个日志写到buffer里面，然后再刷盘。这边会有新的进程然后同步
转载
2023-11-15 22:49:44
105阅读
GC，指Garbage Collection 是JAVA中的垃圾收集器。 相关组件的常见GC问题1、Namenode的堆内存配置过小导致频繁产生full GC导致namenode宕机，在hadoop中，数据的写入&读取经由namenode，所以namenode的jvm内存需要足够多，尤其是在出现大量数据流动的场景中。建议nameNodejava -Xmx的值为4G 左右并随着文件数增加做相
转载
2023-09-14 14:12:24
186阅读
Hadoop发展历史 在2003至2004年，Google陆续公布了部分GFS和MapReduce思想的细节，Nutch的创始人Doug Cutting受到启发，用了若干年时间实现了DFS和MapReduce机制，使Nutch性能飙升。 2005年，Hadoop作为Lucene子项目Nutch的一部分正式被引入Apache基金会，随后又从Nutch中剥离，成为一套完整独立的软件，起
GP数据库与Oracle数据库区别为：侧重不同、数据库类型不同、查询不同。一、侧重不同1、GP数据库：GP数据库重计算的，对大数据集进行统计分析的OLAP类型。2、Oracle数据库：Oracle数据库面向前台应用，重吞吐和高并发的OLTP类型。二、数据库类型不同1、GP数据库：GP数据库的数据库类型为分布式数据库。2、Oracle数据库：Oracle数据库的数据库类型为传统关系型数据库。三、查询
转载
2023-08-21 12:48:22
355阅读
GPGP是General Partner的缩写，意思是普通合伙人。投资者经常听到的一些基金、风投等投资公司采用的就是普通合伙人的制度，在美国等发达国家，普通合伙人很常见。其实，说白了，GP最开始指的就是投资公司最初成立时期的创始人，他们按照出资额分配股份，共同管理公司，公司的利润营收与其有着直接的关系。而在后来的发展过程中，为了留出一些优秀的管理层，
转载
2023-07-31 23:44:23
4阅读
浅谈Hive vs. HBase 23小时前| 作者夏梦竹 摘要：对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析，以作抛砖引玉之用。 对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场
转载
2024-05-10 08:09:11
31阅读
这篇文章用来整理下gp的一些东西，不是概念搭建七七八八的东西，就是单纯的一些sql和使用。1、gp是分布式的数据库，跟hadoop有点类似，也是有master和slave的架构关系摘抄作者的话：Greenplum所有的并行任务都是在Segment数据节点上完成后，Master只负责生成和优化查询计划、派发任务、协调数据节点进行并行计算，Master上的资源消耗很少有超过20%情况发生，因为Segm
转载
2023-08-03 12:37:20
171阅读
注：这并不是一篇教程 目录环境配置宏观流程创建数据库和数据表代码补充建立数据库句柄的三种方式参考 go 原生库中提供了 databases/sql 来进行数据库的操作，同时要配合数据库驱动一起使用。你可以在这里选择你需要的驱动： 链接。 环境配置go 1.17MySql8.0宏观流程go 的代码与数据库建立连接的宏观流程有三步：查找你的驱动（driver），如 import "github.co
摘要： CMMI有计划（PP）及计划跟踪（PMC）两个PA，而某一个PA又有GP2.2计划及GP2.8计划跟踪两个GP，看上去是挺“神奇”也挺让人“困惑”的事情。 正文： GP2.2 Establish and maintain the plan for performing XXX process. GP2.
原创
2013-10-09 16:27:00
508阅读
## 从Hive到GP：将数据从Hive迁移到Greenplum
在数据处理和分析领域，Hive和Greenplum都是常用的工具。Hive是一个基于Hadoop的数据仓库系统，而Greenplum是一个基于PostgreSQL的关系型数据库管理系统。当需要将Hive中的数据迁移到Greenplum时，可以通过一些简单的步骤来实现。
### 步骤一：将Hive数据导出为CSV文件
首先，我们
原创
2024-04-16 06:03:33
93阅读
# MySQL中的性能调优：如何利用GP进行数据库优化
MySQL是一个广泛使用的开源数据库管理系统，具有高效性和灵活性。在进行数据库管理时，性能优化是一个不可忽视的重要环节。GP（Guided Performance）是一种通过建议和分析来提升数据库性能的工具。本文将探讨GP在MySQL中的作用，并提供一些实用的代码示例，帮助你更好地优化数据库性能。
## GP概述
GP（Guided P
GreenPlum6使用PXF进行连接HDFS、HIVE环境配置初始环境准备文件配置服务器文件修改PXF配置文件(pxf-env.sh)配置环境变量PXF服务器配置文件分发、启动建表、查询、测试 最近我们正在测试GP6.7的性能，尝试着使用PXF连接HDFS进行外部表获取，提供一个GreenPlum中文社区 PXF中文文档 环境配置配置环境：GreenPlum 6.7 ; PXF 5.11 ;
转载
2023-12-14 21:12:30
144阅读
因为公司需要使用greenplum，而官方的datax版本在导数据到greenplum时，速度是非常慢的（严格说是datax导数据到postgresql，在导入到GP时，数据走的是master，一条一条insert的，当然是慢）。所以，这里采用了别人开发好的支持GP 的datax版本：https://github.com/HashDataInc/DataX首先来说一下GP，GP作为一种数据仓库工具
转载
2023-12-14 14:51:33
76阅读
GP集群切换测试：1.确定集群状态t3-ze-app09为standby master节点，t3-ze-app11是master节点$ gpstate -a20211102:09:37:58:023988 gpstate:t3-ze-app11:greenplum-[INFO]:-Starting ...
转载
2021-11-02 11:05:00
554阅读
2评论
