Darren_Chen的博客_Linux,MySQL,Redis原创(3)

安装hadoop集群(Multi Cluster)

配置环境本文档安装hadoop集群环境，一个master作为namenode节点，一个slave作为datanode节点：(1) master：os: CentOS release 6.5 (Final)ip: 172.16.101.58user：roothadoop-2.9.0.tar.gz(2) slave：os: CentOS release 6.5 (Final)ip: 172.16.10

安装

hadoop

集群

原创 2017-12-27 14:28:06 1998 阅读

安装hadoop伪分布式模式(Single Node Cluster)

目的本文档介绍如何去安装单节点hadoop集群，以便你可以的了解和使用hadoop的HDFS和MapReduce.环境：os: CentOS release 6.5 (Final)ip: 172.16.101.58user：roothadoop-2.9.0.tar.gzSSH无密码登录配置因为本文档使用root用户安装，所以需要配置好root用户ssh无密码登录本地节点[root@sht-sgmh

安装

hadoop

伪分布

原创 2017-12-27 14:23:10 1505 阅读

Hadoop简介

Hadoop简介Hadoop是使用Java编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展，每个机器都可以提供本地计算和存储。hadoop2.9.0暂时是个不成熟的版本，建议使用先前的稳定版本hadoop2.8.0hadoop安装部署的三种模式

Hadoop

简介

原创 2017-12-27 14:01:58 901 阅读

ERROR 2006 (HY000) MySQL server has gone away

ERROR 2006 (HY000) at line 1438: MySQL server has gone away

ERROR

2006

原创 2017-11-28 16:22:03 1369 阅读

Cassandra两种登录方式cassandra-cli / csqlsh

（1）cassandra-clicassadnra-cli命令在cassandra2.2中被抛弃，以后登录访问cassandra可以使用cqlsh[tnuser@sht-sgmhadoopdn-02 cassandra]$ cassandra-cli -h 172.16.101.59 -p 9160Connected to: "mycluster" on 172.16.101.59/9160Wel

登录方式

两种

Cassandra

原创 2017-11-12 08:45:13 6065 阅读

Cassandra用户管理

Cassandra用role代替用户和用户组，默认创建的role没有login和super权限；但是默认创建的user是有login的权限(1)角色#创建角色cassandra@cqlsh:keyspace1> create role cdhu1;cassandra@cqlsh:keyspace1> create role cdhu2 with password='147258' an

用户管理

Cassandra

原创 2017-11-11 14:21:34 7333 阅读

安装apache-cassandra-2.1.18

IntroductionWhat is Cassandra? The Apache Cassandra database is the right choice when you need scalability(伸缩) and high availability without compromising performance. Linear scalability and prove

安装

apache

cassandra

原创 2017-11-11 11:13:32 1544 阅读 1收藏

PostgreSQL小版本升级

我们知道pg_upgrade和pg_dump/pg_restore可以实现大版本升级数据库，那么小版本如何升级，比如从9.6.3到9.6.5？原理：用新版本的软件程序启动，指定老的的数据目录安装pgsql9.6.3mkdir -p /usr/local/pgsql/pgsql9.6.3/{data,arch}groupadd dbauseradd -g dba -G root postgres -

SQL

版本升级

Postgre

原创 2017-11-01 13:58:51 1538 阅读

pg_upgrade大版本升级

pg_upgrade（1）PostgreSQL提供大版本升级的一个工具，比如说从9.1到9.2，也可以一次跨多个大版本，直接从9.1到9.5等，它的优点是不需要把数据导入导出，这在数据量比较大的时候，非常方便。（2）不适合小版本升级，比如说从9.0.1到9.0.4（3）PostgreSQL8.4.x之后才能使用pg_upgrade（4）如果数据量不大，可以使用pg_dump/pg_restore升

upgrade

pg

大版本

原创 2017-11-01 13:55:31 886 阅读

pg_resetxlog清理的pg_xlog下的WAL日志

PostgreSQL的pg_xlog下有大量日志，空间不足，如何删除？Darren1:postgres:/usr/local/pgsql/data/pg_xlog:>ls000000010000000000000008.00000028.backup 00000001000000000000009D 0000000100000000000000C9

清理

pg

resetxlog

原创 2017-10-29 21:01:16 3935 阅读

E297: Write error in swap file

当我使用vim编辑一个常用的配置文件的时候出现一个错误：E297: Write error in swap file然后上网查找原因，说是磁盘空间不足，于是我就查看一下机器磁盘空间使用情况：sht-sgmhadoopdn-02:postgres:/usr/local/pgsql/data:>df -ThFilesystem

Write

error

E297

原创 2017-10-26 20:34:16 2668 阅读

Postgres 连接数过多 psql: FATAL: sorry, too many clients already

今天开发找到我，说他们的数据库连接不上了，可能是连接数太多，然后我登录到服务器，并且尝试登陆数据库，也是报错：psql: FATAL: sorry, too many clients already很明显，是数据库连接满了。于是查看一下数据库连接进程：[postgres@ec2s-autodenalicontentpoi-01 ~]$ p

连接数

Postgres

过多

原创 2017-10-26 19:36:10 10000+阅读

安装PostGIS-2.1.8

版本：proj-4.8.0.tar.gzgeos-3.4.2.tar.bz2gdal-2.0.1.tar.gzPostGIS-2.1.82.1.8前提条件：安装PostGIS之前必须先安装proj,geos,gdal.安装proj4[root@Darren2 tools]# wget http://download.osgeo.org/proj/proj-4.8.0.tar.gz[root@Dar

安装

PostGIS

原创 2017-10-20 21:02:09 3743 阅读

PostgreSQL系统列 System Columns

每个表都有隐藏的系统列，创建表列的时候不能和系统列名相同,下面讲解一下PostgreSQL有哪些系统列.(1)oid(4 bytes)object identifier(即object ID)主要用于系统表如pg_class(记录table的一个表),pg_namespace(记录schema的一个表),创建表时，如果指定with oids,则存在oid列。还可以由参数default_with_o

System

PostgreSQL

系统列

原创 2017-10-14 16:20:31 1324 阅读

Redshift 通过重新建表修改varchar(60) 到varchar(90)

首先需要知道的是redshift不支持SQL语法直接修改varchar(60) 到varchar(90)，但PostgreSQL和MySQL都支持。1.PostgreSQL如何修改varchar(60)到varchar(90)?Syntax:ALTER TABLE [ IF EXISTS ] [ ONLY ] name [ * ] action [,

通过

Redshift

重新建表

原创 2017-10-12 20:58:13 1465 阅读

pg_hba.conf 和 pg_ident.conf

初始化后pg_hba.conf默认的内容：# TYPE DATABASE USER ADDRESS &nbs

conf

hba

pg

原创 2017-10-10 20:42:51 1564 阅读

源码安装PostgreSQL

数据库版本:PostgreSQL 9.6.3系统版本：CentOS release 6.6 (Final)下载软件（Download software）：[root@Darren2 tools]# wget https://ftp.postgresql.org/pub/source/v9.6.3/postgresql-9.6.3.tar.gz 查看是否已经安装(Check is not insta

SQL

源码安装

Postgre

原创 2017-10-10 10:36:17 1272 阅读

Redis 登陆

Redis 登陆Redis默认配置是不需要密码认证的，也就是说只要连接的Redis服务器的host和port正确，就可以连接使用。这在安全性上会有一定的问题，所以需要启用Redis的认证密码，增加Redis服务器的安全性。修改配置文件redis.conf#requirepass foobared去掉前面的注释，并修改为所需要的密码：requirepass 147258 （其中147258就是要设置

登陆

Redis

原创 2017-06-12 15:33:06 1780 阅读

redis安装配置3.2.9

安装下载，解压，编译:#wget http://download.redis.io/releases/redis-3.2.9.tar.gz# tar xzf redis-3.2.9.tar.gz# cd redis-3.2.9# make二进制文件是编译完成后在src目录下，通过下面的命令启动Redis服务：#src/redis-server你可以使用内置的客户端命令

安装配置

redis

原创 2017-06-09 08:05:10 714 阅读

Redis简介

Redis （remote dictionary server）Redis 是一个开源的，存储键值（key-Valus）数据库，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，如字符串（strings），散列（hashes），列表（lists），集合（sets），有序集合（sorted sets）与范围查询， bitmaps， hyperl

简介

redis

原创 2017-06-09 08:00:22 661 阅读

interactive_timeout和wait_timeout的关系

interactive_timeout = 28800wait_timeout = 28800#这两个参数默认都是28800s，即8个小时;interactive_timeout指的是mysql在关闭一个交互的连接之前所要等待的秒数wait_timeout指的是mysql在关闭一个非交互的连接之前所要等待的秒数通过mysql客户端连接数据库是交互式连接，通过jdbc连接数据库是

wait

interactive

timeout

原创 2017-06-09 07:58:19 1672 阅读

keepalived+mysql双主

keepalived+mysql双主原理：（1）主库1上的keepalived启动之后，会检查mysql服务是否活着，如果活着，keepalived进入master状态，获得VIP；（2）主库2上的keepalived启动之后，也会检查mysql是否活着，然后检查keepalived组内是否有master状态，如果有，则主库2上的keepalived进入backup状态，处于随时接管VIP状态；（

mysql

keepalived

双主

原创 2017-06-09 07:57:05 1046 阅读

由于端口问题导致mysql服务没有起来

今天一同事说他的mysql数据库起不来了，很是郁闷，报错如下# /etc/init.d/mysql startStarting MySQL.... ERROR! The server quit without updating PID file (/data/mysql/mysql3306/data/mysql.pid).我第一时间想到要看错误日志，错误日志如下：# vim error.log&n

mysql

由于

端口问题

原创 2017-06-09 07:55:27 504 阅读

pt-kill

pt-kill 是属于percona-toolkit中的一个工具，作用是kill mysql的连接，pt-kill连接mysql，通过show processlist获得查询.参数：--kill#kill mysql的连接--busy-time=m #匹配运行时间超过m的连接，可以指定时间单位，默认单位秒 --match-command

其他

pt-kill

原创 2017-06-05 12:22:37 476 阅读

pt-query-digest

pt-query-digest可以用来分析binlog、General log、slowlog，也可以通过show processlist或者通过tcpdump抓取的MySQL协议数据来进行分析用法：（1）直接分析slow日志： pt-query-digest INDEX01184W-slow.log > slow_report1.log（2）分析最近12小时内的查询：pt-que

query

digest

pt

原创 2017-06-02 17:32:09 790 阅读

pt-ioprofile

pt-ioprofile是属于percona-toolkit中的一个工具，用strace和lsof来查监视进程的IO情况并打印表文件和活动IO，默认监视mysqld进程30秒警告和风险：pt-ioprofile可能会冻结服务，crash进程，是进程变得更糟糕，或者使进程休眠。pt-ioprofile是一个有干扰的工具，一般不用在生产环境中，除非你能理解和接受风险。格式：pt-ioprofile [

pt

ioprofile

原创 2017-06-02 17:29:17 856 阅读

pt-ioprofile

pt-ioprofile是属于percona-toolkit中的一个工具，用strace和lsof来查监视进程的IO情况并打印表文件和活动IO，默认监视mysqld进程30秒警告和风险：pt-ioprofile可能会冻结服务，crash进程，是进程变得更糟糕，或者使进程休眠。pt-ioprofile是一个有干扰的工具，一般不用在生产环境中，除非你能理解和接受风险。格式：pt-ioprofile [

pt

ioprofile

原创 2017-06-02 10:12:56 447 阅读

ProxySQL

proxysql的作用1.读写分离，server可以进行分读组和写组2.动态指定某一个SQL进行cache3.故障切换，依赖于他的配置动态加载，但是不能自动选主，需要依赖keepalived和MHA4.配置动态更新5.一个节点可以跑很多proxysql6.percona公司的proxyproxysql端口监控的端口号：6633管理端口号：6032安装下载[root@Darren1 tmp]# wg

SQL

Proxy

原创 2017-05-31 21:34:12 1756 阅读

高可用PXC

1.Percona XtraDB Cluster的搭建安装环境：节点1：A： 192.168.91.18节点2：B：192.168.91.20节点3：C：192.168.91.21innodb引擎层实现的复制ABC server_id要不一样ABＣ：下载软件：wget http://www.percona.com/downloads/Percona-XtraDB-Cluster

高可用

PXC

原创 2017-05-19 14:54:31 1720 阅读

MHA

MHA原理（1）一主三从架构，主库挂了，但主库能被从库ssh上去的情况下，MHA从三个从库中选择同步最接近的作为新主，然后新主和s2，s3都ssh到原主上通过binlog补上还没有同步的数据，io_thread读取到binlog位置，传到save_binary_logs，然后回放，达到s1,s2,s3和原主一致。（2）主库无法ssh上去的情况下，即主库的系统无法连接，假设有binlog serve

高可用

MHA

原创 2017-05-12 09:44:26 2177 阅读 2评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Memos

安装hadoop集群(Multi Cluster)

安装hadoop伪分布式模式(Single Node Cluster)

Hadoop简介

ERROR 2006 (HY000) MySQL server has gone away

Cassandra两种登录方式cassandra-cli / csqlsh

Cassandra用户管理

安装apache-cassandra-2.1.18

PostgreSQL小版本升级

pg_upgrade大版本升级

pg_resetxlog清理的pg_xlog下的WAL日志

E297: Write error in swap file

Postgres 连接数过多 psql: FATAL: sorry, too many clients already

安装PostGIS-2.1.8

PostgreSQL系统列 System Columns

Redshift 通过重新建表修改varchar(60) 到varchar(90)

pg_hba.conf 和 pg_ident.conf

源码安装PostgreSQL

Redis 登陆

redis安装配置3.2.9

Redis简介

interactive_timeout和wait_timeout的关系

keepalived+mysql双主

由于端口问题导致mysql服务没有起来

pt-kill

pt-query-digest

pt-ioprofile

pt-ioprofile

ProxySQL

高可用PXC

MHA