51CTO博客开发
SELECT master_create_distributed_table('github_events', 'repo_id', 'hash');SELECT master_create_worker_shards('github_events', 16, 2);SELECT * from master_get_active_worker_nodes();SELECT * from maste
节点IP角色master10.10.100.1masterstandby110.10.100.2standby1standby210.10.100.3standby2 master上创建流复制所需要的用户。CREATE ROLE replication WITH REPLICATION PASSWORD
节点IP角色citus-master10.10.100.1mastercitus-standby10.10.100.2standby master上创建流复制所需要的用户。CREATE ROLE replication WITH REPLICATION PASSWORD 'replicatio
首先安装citus和postgresql的yum源。## 安装citus源 curl https://install.citusdata.com/community/rpm.sh | sudo bash## 配置postgresql源 vim /etc/yum.repos.d/pg
lens_mobapp_trace=# create role lens with login; NOTICE: resource queue required -- using default resource queue "pg_default
package main import ( "fmt" "github.com/quenlang/mahonia" "net/smtp" ) func main() { auth := smtp.PlainAuth("", "beian@tingyun.com", "xxxx", "smtp.ex
GreenPlum中的分区表在数据量较大的情况下对于提升查询性能的帮助非常的，但是GreenPlum本身并没有提供分区表自动维护的工具，这里我们利用GreenPlum的PL/SQL自定义两个分区表自动维护的存储过程(也可以成为函数)。 创建存储过程之前首先要创建一个记录分区表详细信息的视图，这里可以参见上篇博文。由于业务中有多张表需要做分区，而且分区字段的类型并不一样，因
GreenPlum中查询分区表的信息本身并不是特别的友好，需要做表关联并且做相应的处理，为了后期维护起来方便，这里创建两个视图供DBA直接查询，非常的方便。1、创建list分区表的视图 create or replace view v_gp_list_partition_meta as SELECT pp.parrel
最近数据库架构调整，一部分业务从MySQL迁移到GreenPlum上去，原来MySQL中自带有unix_timestamp和from_unixtime两个函数可以实现标准时间和UNIX时间的相互转换，翻了下GreenPlun的文档，没有发现有类似的函数，于是便使用python自定义了这两个函数，并在这两个函数的基础上实现了两个业务相关的函数，这里记录一下。1、首先创建一个python
MySQL中处理慢sql时，如果看完执行计划之后还拿不定优化的方案的时候，可能需要借助profile的来看一看具体慢在哪里，整个过程如下：mysql> set profiling=1; Query OK, 0 rows affected (0.00 sec) mysql> select
近期运营出报表，查询的数据量为15年的数据量，涉及的表及表中记录数如下图所示： 刚开始的时候在MySQL中进行查询汇总，选择第一个数据量最小的表，发现MySQL 出现内存溢出，数据库使用的是腾讯云上的一台CDB，内存大小为24GB。后来将数据上传到hdfs上使用imp
// Hello project main.gopackage main import ( "encoding/json" "fmt" "os" ) type ColorGroup
1、定时器Go语言中定时器可以实现在指定时间点执行特定的事件，定时器的实质是单向通道，time.Timer结构体类型中有一个time.Time类型的单向chan，具体声明如下：type Timer struct { C <-chan Time r&
MySQL 常用函数1、数据库中取昨天的日期mysql> select date_sub(current_date(),interval 1 day); +-----------------------------------------+ | date_sub(current_date(),interval 1 day)
1、innodb_flush_log_at_trx_commit# 0:每秒钟将redo log buffer中的日志直接flush到磁盘，若mysqld进程crash，丢失最后1秒的数据，因为没有写入到文件系统缓冲中 # 1:默认值，每次commit，都会将redo log buffer中的日志刷回磁盘 # 2:每次事务的co
错误现象：Replicate_Wild_Ignore_Table: Last_Errno: 1146 Last_Error: Error 'Table 'mydb.test1146' doesn't exist' on&n
mysql中对大表进行rename的操作，一闪而过，rename命令会直接修改底层的.frm文件。有时需要对数据库中的表进行原子性rename，可以使用下面的sql：rename table user to user_old, user_bak to user;
一、实现原理：首先宿主机间实现时间同步，然后容器启动时以只读方式挂载宿主机的/etc/localtime文件实现各宿主机上的Docker容器间的时间同步。二、操作步骤1、宿主机修改时区[root@flume002 ~]# cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime cp:
一、节点规划RoleIpHostmaster192.168.1.151docker1minion192.168.1.154docker2minion192.168.2.2docker3minion192.168.1.6docker4二、安装部署1、各节点操作系统为centos7.0.内核版本为Linux docker3 3.10.0-229.el7.x86_64 #1
数据库中有三种类型的表，分钟粒度、小时粒度、天粒度，现在需要为三种类型的表涉及分区自动维护的存储过程，首先创建元数据信息表：mysql> select * from op_tb_partition; +-------------------------------------+ | tb_nam
数据库中有多张表要做分区表（按日期分区），但是这些表用于分区的日期字段记录形式并不统一，有如下三种类型： PARTITION par_20151225 VALUES LESS THAN (736323) ENGINE = In
Mysql库中有一个表，数据量在10亿左右，基本上对于这个表的操作都是没有意义的，因此想测试一下迁移到mongodb的shared架构上是否会有所改善。于是哼哧哼哧的搭建了一个3分片的mongo环境，并将mysql中这个大表的数据导出成了csv的格式，最终使用mongoimport工具成功将10亿多的数据导入mongo集群中去。但是导完后查看了下mongodb
Codis是一个开源的分布式redis解决方案，由以下四个组件组成： codis-proxy:后端redis的代理，本事实现了redis协议。 codis-config:是codis的管理配置工具，用于增删redis server、操作数据迁移。 zookeeper:用来
SSDB是一个高性能的支持丰富数据结构的 NoSQL 数据库, 用于替代 Redis或者与 Redis 配合存储十亿级别列表的数据，现在已被许多知名企业所应用。我们使用SSDB是想将现有的redis中的key迁移到SSDB以破除现有的redis 120G存储极限（当然可以扩展，但是计算了下成本就打算放弃了）。 &nb
1、工具简介 pt-online-schema-change是percona提供的一个mysql在线修改表结构的工具2、使用场景 当需要修改线上数据库中某个表的表结构时，发现这个表的数据量比较大，如果使用alter table语句的话可能会阻塞较长的时间，那么可以考虑使用pt-online-schema-c
首先看节点规划： IP:192.168.0.99 Host:mgs02 Role：cobar
Hbase自0.92之后开始支持Coprocessor（协处理器），旨在使用户可以将自己的代码放在regionserver上来运行，即将计算程序移动到数据所在的位置进行运算。这一点与MapReduce的思想一致。Hbase的Coprocess分为observer和endpoint两大类。简单说，observer相当于关系型数据库中的触发器，而endp
satlstack号称自动化运维的利器，那么saltstack能不能实现自身的批量部署呢？如果你也有这样的疑问，那么就更要看这篇文章了。答案当然是肯定的啦！saltstack可以利用salt-ssh来实现自身的批量部署。首先看待salt-ssh，很容易想到它是一个依赖 ssh 来进行远程命令执行的工具，这样做的好处是你不必在客户端安装minion程序
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
