gh-ost学习笔记参考资料：https://m.aliyun.com/yunqi/articles/62928https://m.aliyun.com/yunqi/articles/115565?spm=5176.100239.0.0.bIL3Yrhttps://yq.aliyun.com/articles/62928【推荐】https://github.com/github/gh-ost/tr
操作系统：windowsserver2012R2VS版本：visiostudio2015community机器配置：4core/4G安装所需包：cmake，bison，boost，activeperl，下面为具体版本cmake-3.15.0-rc3-win64-x64.msiboost_1_59.zip(注意boost版本要与mysql版本对应，会在cmake时有报错提示对应哪个版本)active
简单画了下InnoDB存储引擎架构：
本文主要安装Galeracluster，数据库使用官方Mysql-5.6.44。安装时采用轻量级pssh来进行批量安装。概况：数据库机器：192.168.1.42192.168.1.43192.168.1.44mysql版本：源码mysql-5.6.44.tar.gz源码包下载url：https://dev.mysql.com一、安装Mysql在每台机器/下创建/data目录，用于mysql数据文
有些同学在使用GaleraCluster之后，会发现有一些坑，如：1）大表DDL操作会导致整个集群不可用。在DDL操作完成前集群都不可写入任何事务，导致服务不可用。解决方案：直接使用pt-online-schema工具进行操作，可以避开这个问题。2）由于GaleraCluster在执行DDL时，是TotalOrderedIsolation（wsrep_OSU_method=TOI）的，所以必须要保
目前公司ES集群共5台：1ingest4data目前ES集群使用search-guard插件做权限控制，集群使用证书互信。前两天有开发反应查询有点慢，领导让给ES集群再增加一台机器来解决查询慢的问题。
pymongo需要将一条记录从一个Mongo同步到另一个mongo中去，其中doc中有时间字段，为ISODate格式，python无法识别该格式，需要做下处理，为了简单这里仅写一个测试脚本，用来将ISODate格式的数据插入mongo中。脚本如下：#!/usr/bin/pythonimportpymongofromdateutilimportparserdateStr='2018-06-1
mha安装之后一直正常运行，中间也有出现过切换的情况，不过都正常进行，后有其他dba在mha自动切换后做过一些操作，后来我再查看状态，发现监控没有在运行，于是手工启动，结果就报以下错误：Mon Nov 20 17:15:11 2017 - [info] MHA::MasterMonitor version 0
目前架构：n台filebeat客户端来将每台应用上的日志传到kafka，3台kafka做集群用于日志队列，四台ES做集群，前两台存放近两天热数据日志，后两台存放两天前的历史日志，数据保存一个月，目前总数据量44亿，大小为6T。logstash与kibana与ES在一台机器上，kibana域名指向后端三个kibana做轮询。出现性能问题：1、集群中只有第一台负载很高，其他节点负载一直都很低，偶尔同为
基于Inception做二次web审核界面开发
最近公司系统中全模糊查询很多，数据量又大，多表连接查询时会很影响性能。于是考虑使用搜索引擎来做全模糊查询，思路：mysql数据库数据同步至ES类型，同步采用全量同步+定时增量方式，应用直接从ES中去查询想要的结果。通过一番查找，决定使用elasticsearch-jdbc进行数据的同步，五六张表的连接结果，在数据量小的开发与测试环境运行正常，但在数据量比较大的性能测试环境做数据同步的话就会出现问题
脚本test.sh内容如下，在 /home/myname/下执行该脚本，家目录下有文件a.txt,test.log,test.sh #!/bin/bash sql="select * from emp;" echo $sqlecho $sql > test.log 执行后结果： select test.sh a.txt test.log from emp; 如何能让sql中的
mongo ops manager默认为企业版本所带监控管理工具，若你使用的为社区版本，想使用ops manager,则需要自己单独手工安装。下载mongo ops manager包(url:https://www.mongodb.com/presentations/webinar-introduction-to-ops-manager)ops相关文档https://docs.opsmanager
在使用一个时间字段做范围查询count()行数时，发现一个问题：集合总doc数：mongo>db.log.find().count();90370113查询小于ISODate("2016-10-10T08:00:00.358Z")的doc有多少条：mongo>db.log.find({"startTime":{$lt:ISODate("2016-10-10T08:00:00.358Z"
mongo分片备份后删除分片并重建分片索引，结果常遇到以下情况：shard01上的集合创建了分片索引，而shard02上却没有创建分片索引，导致chunk只分布在shard01分片上。具体报错信息："errmsg" : "aborting migration, shard is missing 1 indexes and collection is not empty. Non-trivial i
开启MongoDB服务时不添加任何参数时,默认是没有权限验证的,登录的用户可以对数据库任意操作而且可以远程访问数据库！在刚安装完毕的时候MongoDB都默认有一个admin数据库（3.0以前,3.0以后默认没有这个admin数据库，需自己创建。）,此时admin数据库是空的,没有记录权限相关的信息！当 admin.system.users一个用户都没有时，即使mongod启动时添加了--auth参
在停止balancer之后，备份整个分片库，然后启用balancer，删除分片集合并重建。遇到以下报错：mongos> db.businessInfo.drop();2016-08-14T09:06:58.324+0800 E QUERY Error: drop failed: {"code" : 13331,"ok" : 0,"errmsg" : "ex
mysql5.6安装之后无法启用参数 innodb_use_native_aio,error文件中也没有相应错误。mysql> show variables like 'innodb_use_native_aio';+-----------------------+-------+| Variable_name
150210 10:29:16 InnoDB: Warning: trying to delete tablespace '/tmp/#sql2069_87b001_1d.ibd',InnoDB: but there are 1 flushes a
set Autotrace的使用关于Autotrace几个常用选项的说明:SET AUTOTRACE OFF ---------------- 不生成AUTOTRACE 报告，这是缺省模式SET AUTOTRACE ON EXPLAIN --------- AUTOTRACE只显示优化器执行路径报告SET AUTOTRACE ON STATISTICS ------ 只显示执行统计信息SET AU
RAC:两个节点一、ASM实例管理 1.手工启动ASM实例(节点1) $export ORACLE_SID=+ASM1 $sqlplus /nolog SQL>conncet / as sysdba -- 注意11GR2是connect / as sysasm SQL>startup 2.ASM管理磁盘组相关命令 SQL>
SQL语句中count(1)与count(*)count（*） 可以统计所有的行数，包括为null的行count（1） 统计的是第一个子字段的行数，为null的行数 不统计。sql 语句中 有时候1 代表对应的 第一个字段，第二个字段 一次类推。* 代表所有的字段
1.安装好Oracle数据库后: 执行 dbstart和dbshut会提示：[oracle@oracle11g ~]$ dbstartORACLE_HOME_LISTNER is not SET, unable to auto-start Oracle Net ListenerUsage: /u01/app/oracle/oracle/product/10.2.0/db
-------------------------创建表空间与用户创建临时表空间CREATE TEMPORARY TABLESPACE test_temp TEMPFILE '/u01/oracle/product/10.2.0/oradata/orcl/test_temp01.dbf ' SIZE 32M AUTOEXTEND ON NEXT 32M MAXSIZE 2048M EXTENT
其中Autotrace有如下选项SET AUTOTRACE OFFNo AUTOTRACE report is generated. This is the default.SET AUTOTRACE ON EXPLAINThe AUTOTRACE report shows only the optimizer execution path.SET AUTOTRACE ON STATISTICST
use masterselect loginame,count(0) from sysprocessesgroup by loginameorder by count(0) descselect nt_username,count(0) from sysprocessesgroup by nt_usernameorder by count(0) desc如果某个SQL Server用户名test连
7. 备份和恢复本章主要会介绍：1.备份的类型：逻辑备份，物理备份，全备和增量4种2.创建备份的方法3.还原方法，包括还原到时间点4.备份计划，压缩和加密5.表维护，恢复损坏的表7. 备份和恢复... 17.1备份和还原类型... 17.1.1 物理备份VS逻辑备份... 17.1.2 Online VS OFFLINE. 17.1.3 本地VS远程... 17.1.4 快照备份... 17.1.
在rman增量备份中，有差异增量和累积增量的概念 1、概念 差异增量：是备份上级(如0级备份相对于1级备份为1级备份上级)及同级备份以来所有变化的数据块，差异增量是默认增量备份方式，这个用的多一些。 累积增量：是备份上级备份以来所有变化的块 因为累积增量是
slave只配置：replicate-wild-ignore-table=mysql.% 解决replicate-do-db引发从库异常。replicate-ignore-db 是通过use db来确定是否过滤的。而wild-ignore是通过真实被修改的表进行过滤的，更为准确。
MySQL 自身的 mysqldump 工具支持单线程工作， 依次一个个导出多个表，没有一个并行的机 ，这就使得它无法迅速的备份数据。mydumper 作为一个实用工具，能够良好支持多线程工作， 可以并行的多线程的从表中读入数据并同时写到不同的文件里 ，这使得它在处理速度方面快于传统的 mysqldump 。其特征之一是在处理过程中需要对列表加以锁定，因此如果我们需要在工
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
