arthur376的博客_原创

Memcached安装和简单使用

Memcached是老牌内存缓存工具，不过版本有点老，大部分场景已经转向使用redis。优点是：结构简单，能使用多核，有插件适用很多数据库场景。缺点是：需要第三方支持才能有高可用和设置用户名密码。安装Memcached下载地址：https://www.memcached.org/files/memcached-1.6.19.tar.gz安装依赖库：yum install -y libevent-d

memcached

数据

缓存

原创 2023-07-04 16:10:48 109 阅读

mongodb数据库的备份和数据导出导入

#数据库备份mongodump -h 172.25.33.98:30000 -d test -o /opt/注意:默认备份出来是一个文件夹,里面包含这个库相关的文件.参数说明: -h: MongDB所在服务器地址,可以指定端口号:127.0.0.1:27017 -d: 需要备份的数据库实例,例如:test,未指定的话,备份所有的数据库,但不包含local库 -

mongodb

原创 2021-06-21 16:02:37 2739 阅读 1点赞

mongodb配置文件配置项简介和例子

###mongodb数据端:#数据存放目录dbpath=/data/mongodb/data#mongodb程序日志文件logpath=/data/mongodb/data/mongodb_data.log#日志形式为追加到文件后logappend=true#安静模式,默认:false,即关闭.开启后将产生较少日志量,但不方便排查故障,对数据没有影响.#quiet=true#pid存放位置pidf

mongodb

原创 2021-06-21 16:01:15 2568 阅读 1点赞

MongoDB 慢日志分析

##查看慢日志#设置mongo慢查询日志等级和记录时间门槛,单位ms毫秒db.setProfilingLevel(1,3000)#查看当前mongo慢查询级别状态,有0,1,2三个级别,0:关闭,不收集任何数据.1:收集慢查询数据,默认是100毫秒.2:收集所有数据db.getProfilingStatus()#查看当前mongo慢查询的记录,注意:要查看那个库的慢日志,就要登进去那个库,不然无法

mongodb

原创 2021-06-21 15:59:45 9272 阅读 2点赞 1收藏

整理mongodb数据空洞碎片和孤儿文档

一.空洞碎片当mongodb出现大量删除的时候,就容易产生空洞碎片,一般来说,mongodb的机制上,可以不管空洞碎片,因为数据持续增长的话,迟早还是会重新占用的.而nosql本身是随机存储和读写的,没有顺序批量读写的概念,可以忽略关系型数据库的一些概念.不过有时候实在需要回收空洞碎片,就有以下的方式可以操作.回收空洞碎片总共有3种方法:1.compact官方命令,会阻塞其他操作,所以在主库执行时

mongodb

原创 2021-06-21 15:56:24 3073 阅读 1点赞

mysql执行计划expain(desc)详解

expain(desc)是mysql自带的优化器执行计划分析工具,它能模拟sql语句运行时,列举用到什么索引,建立临时表,排序,分组等操作的顺序和运行代价,从而分析这条语句有什么优化空间. 用法: 直接在sql语句前面加上就行一般的查询语句 select * from emp where id = '205'; 前面加上explain就可以显示执行计划 explain s

mysql

执行计划 expain

原创 2021-06-21 15:54:16 1839 阅读

分析mysql实例内存使用情况

前言我们经常讨论,mysql占用内存多,还使用了swap,那究竟是什么原因呢?这篇文章能解答一些这类问题.numa的问题numa是linux系统为了合理分配多核环境下内存空间而存在的功能,但是对于大内存应用反而造成了性能瓶颈,所以对于数据库类别应用来说,应当要关闭,如果硬件BIOS没有关闭,则需要开启这个参数来关闭.因为对于数据库这种大内存应用,numa把内存空间分割成若干段空间之后,他们互相独立

mysql 内存

原创 2021-03-03 15:23:53 7311 阅读

redis-cluster搭建与使用

简介:redis-cluster是redis自带的分布式集群模式,其原理是将几套redis实例的存储空间划分成总共16384个hash数据槽,然后通过crc16算法计算key的名字得出一个hash值,把数据存储到相应的数据槽上.如果数据分布足够平均,就可以充分利用每一套redis实例来分散负载,从而达到高性能的目的,相反则会出现热点区间,出现木桶短板原则限制.优点:搭建简单,自带高可用,性能提高明

redis redis-cluster

原创 2021-01-21 10:40:07 501 阅读

redis主从+哨兵sentinel+VIP高可用结构

哨兵sentinel是redis自带的高可用程序,可以发现并自动切换主从状态的redis服务配置,而且哨兵sentinel还可以支持管理多套redis主从.而应用可以通过类似jedis的驱动直接连接哨兵,来实现高可用.jedis会在哨兵sentinel里发现真实的主库地址,然后让程序连上真实主库地址操作.不过这个架构有三个问题,第一,应用程序的配置要实现这个功能的话就要从连接真实IP的redis改

redis 哨兵 sentinel

原创 2020-05-12 12:12:41 2059 阅读

redis性能分析与优化建议

首先,并不是说redis是内存应用就完全没性能问题,用的不好,还是会出现各种状况,例如RDB频繁,碎片太多等.性能分析info信息:在redis-cli进入登录界面后,输入info all,或者redis-cli -h ${ip} -p ${post} -a "${pass}" -c info all，通常我们只输入info就够了，是简介模式的意思，info all是详细模式之后,就会获取所有与R

redis

原创 2019-11-04 11:07:04 5252 阅读

redis的安装和简单使用

循例介绍一下了,redis是内存数据库,是简单的key-value结构,也是nosql数据库,因为结构简单,而且用的是内存,所以速度非常之快.至于问有多快?大家知道以前的机械硬盘,单盘速度其实也还好,而内存的读写速度是机械硬盘的6万倍.所以,redis比硬盘有多快,可见一斑了.当然现在都用固态硬盘,情况还是比以前好不少的.这里不再详细类比,知道是这回事就好.安装==================

redis

原创 2019-11-04 10:53:13 1074 阅读

建立mongodb的登录认证功能

对于一个完善的数据库系统,必然是需要权限控制,当然mongodb也不例外.没有认证的数据库已经被证明是******的一个突破口,所以我们无论是出于什么原因,数据库认证对于一个生产系统而言,至关重要.在MongoDB3.0以后,用户登录的密码认证机制有：SCRAM-SHA-1（默认,基于加盐的应答式认证），MONGODB-CR（普通应答式认证,3.6废弃,4.0删除）,x.509Certificat

mongodb

认证

用户

密码

原创 2018-10-24 11:53:38 5513 阅读

mysql的varchar与text对比

varchar和text是mysql字符存储争议比较多的领域,究竟大字段用那个比较好,我们来对比一下,然后自行选择.大小对比VARCHAR ：varchar在mysql中满足最大行限制，也就是 65535(16k)字节，在mysql中使用 uft-8（mysql中的 utf-8 和我们正常的编码utf-8不同）字符集一个字符占用三个字节，①使用utf-8字符编码集varchar最大长度是(6553

mysql

varchar

text

原创 2018-05-28 17:11:57 10000+阅读

mysql8.0初探:(二)MySQL Group Replication-MGR集群简介

简介MySQL Group Replication（简称MGR）字面意思是mysql组复制的意思,但其实他是一个高可用的集群架构,暂时只支持mysql5.7和mysql8.0版本.是MySQL官方于2016年12月推出的一个全新的高可用与高扩展的解决方案,提供了高可用、高扩展、高可靠的MySQL集群服务.也是mysql官方基于组复制概念并充分参考MariaDB Galera Cluster和Per

mysql

MGR

原创 2018-05-08 16:10:35 10000+阅读 1点赞 1收藏

自己总结的数据库设计规范

数据库

设计规范.51cto

原创 2018-05-03 16:33:45 999 阅读 1点赞

mysql8.0初探:(一)安装和初始化使用

虽然很奇怪,mysql5.7的下一个版本居然不是5.8,而是直接跳到8.0,不过特性和功能优化改善很多.之前看过很多文章都说mysql8.0变化很大,但是一顿测试下来,大部分操作还是比较一致,某些操作不一样而已.下面来一步步看有什么大差别,本篇文章只说两个方面.安装因为mysql官方和以往一样,给出二进制包的方式,所以和以往安装方式并没有太大差别首先官网下载二进制包,然后就可以正常解压缩安装了,我

mysql 8.0

初探

原创 2018-04-26 16:34:36 10000+阅读 3评论

记一个mysql环境RR隔离级别转换成RC的问题

先了解RR(REPEATABLE-READ)和RC(READ-COMMITTED)的区别.RR隔离级别增加了间隙锁,避免了幻读,并且阻止了不可重复读,让同一个事务里面的查询和修改都是一致的.mysql默认的隔离级别就是RR.虽然说RC隔离级别在同一个事务内会存在查询出不同数据的现象,但是这些数据都必然是提交过的,是真实存进硬盘的数据.所以也不用过分担忧,而且RC隔离级别反而降低了锁粒度,也不是毫无

mysql

事务

隔离级别

原创 2018-03-12 11:55:53 7974 阅读 1评论

mongodb+分片集群+ycsb测试一例

简介mongodb是很出名的nosql数据库了,属于集合-文档型的特有架构nosql数据库,也是被誉为最像关系型数据库的非关系型数据库,但是不支持事务.由于mongodb原生就支持分布式架构,所以部署简单,灵活,可伸缩,自动平衡数据结构等优点,继而性能也非常高.所以搭建mongodb来使用的公司,90%都会使用到mongodb集群.YCSB是Yahoo开发的一个专门用来对新一代数据库进行基准测试的

mongodb

分片

ycsb

原创 2018-02-06 15:53:48 10000+阅读 1收藏 3评论

安装tcmalloc内存控制模块,并配置mysql使用

这个tcmalloc很出名了,是google出的内存管理模块,比传统模块控制更合理,能应付更高的并发,而且也更稳定.不过这个模块不是系统自带的,没有原生安装,所以需要手动去安装操作,稍微有点麻烦.这个模块包含在google封装的工具集google-perftools里面.安装先安装相关运行库,因为是用c++写的,需要make,还有一个运行环境libunwindyum -y in

tcmalloc

安装

原创 2018-01-23 14:35:47 8684 阅读

codis3.2.1集群搭建与测试

codis3.2.1集群测试报告Codis是一套用go语言编写的,为了应对高并环境下的redis集群软件,原理是对一个redis key操作前,先把这个key通过crc32算法,分配到不同redis的某一个slot上,实现并发读写功能.而且能通过zookeeper调用redis-sentinel来实现故障切换功能.现在最新版本是3.2.1,依托于redis3.2.9开发出来.优点:实现高并发读写,

codis

redis

原创 2017-12-19 10:36:34 10000+阅读 2点赞 3收藏 1评论

mysql+mycat压力测试一例

前言有很多人担心生产系统上新东西的程序怕压力跟不上和稳定性不行,是的,大家都怕,所以领导要求做一次压力测试,我个人也觉得是有必要的.如果按原理来说,mycat如果不做分片,纯粹只是代理的话,他所做的事情,其实更多的是数据转发,而这个转发能力,当然就是看他能有多强.既然理论上转发能力很强,那么是不是就可以忽略不计呢,当然不是,所以需要用直连mysql的测试数据来做对比.测试前的准备第一步当然是安装好

mysql

mycat

sysbench

原创 2017-11-29 13:42:41 10000+阅读 2点赞 2收藏

mysql主从复制跳过复制错误

跳过复制错误mysql因为binlog机制问题，有些时候会出现从库重放sql执行失败的情况，特别是旧的STATEMENT模式最容易出现这种情况（因为函数和存储过程等原因），这也是为什么强调使用mixed和row模式的原因。另外就是一些外部XA事务，因为XA事务日志不在mysql中，有时候会出现回滚失败的情况，导致主从报错。出现这些状况那该怎么办好呢？如果是重做，虽然是可以，但是如果库非常大，那耗时

mysql

主从复制

原创 2017-09-30 10:36:03 10000+阅读 1点赞

NGINX安全配置和限制访问

说起网络***，可能很多人只知道大名鼎鼎的DDOS***，这种***廉价且效果出众，直接通过第四层网络协议用他的带宽把你的带宽顶掉，造成网路阻塞，防不胜防，就连腾讯这种大鳄公司也被大流量DDOS搞过焦头烂额。暂时的解决方法只有三种，第一种就是你要够有钱，买强大的高级防火墙，或者使用的带宽足够大，无视这些网络流量。第二种是技术足够强，例如个别有技术的大牛公司（阿里），用类如DPDK的高效数据包处理驱动，开

web nginx

原创 2017-08-02 15:51:03 10000+阅读

mysql慢查询功能详解

有人的地方就有江湖，数据库也是，sql优化这个问题，任重道远，我们总是禁不住有烂sql。怎么办呢，还好各大数据库都有相关烂sql的收集功能，而mysql的慢查询收集也是异曲同工，配合分析sql的执行计划，这个优化就有了搞头了。开启mysql慢查询日志1.查看当前慢查询设置情况#查看慢查询时间，默认10s，建议降到1s或以下， mysql> show variables&n

mysql

优化

慢查询

原创 2017-07-19 15:22:11 10000+阅读 1收藏

mysql版本升级

版本升级:mysql版本很多，有5.5,5.6,5.7都可能,有时候我们的目的是升级数据库版本.升级的方法有两种，第一种就是用mysqldump方式来操作，因为导出来就是sql语句，所以直接导进去新库就是升级了。例如:#在旧库导出 mysqldump -uroot -p'****' -h10.0.2.4 -P3307 --triggers

升级

mysql

版本

原创 2017-07-04 17:05:08 2104 阅读 2收藏

mysql多源复制详解

大家应该知道，mysql比起其他数据库，最大的特色是就是主从复制，不过5.7之前的版本最多就只支持一主多从的复制方式，对于一些统计类的需求，就需要跨库，这是比较麻烦的事情，以往只能交由数据库中间件（mycat等）去做这种事情，还有备份操作，也只能一个个库的用脚本去轮询或并发备份，不可谓不费时费力。然后，多源复制的概念出来了。多源复制的概念最早是mariadb社区提出的，后来mysql官方积极引入到

mysql

复制

多源复制

原创 2017-07-04 10:13:38 3982 阅读

使用docker下载搭建TeamCity容器并使用

其实我也不知道TeamCity有什么用,不过开发叫装,而且看起来也挺方便的.TeamCity 入门先来看一段官网的介绍视频这个视频其实已经很清楚地说明了一个整理流程是怎样的，我今天只是做一个更加清晰的细节讲解而已你需要穿越：https://www.youtube.com/watch?v=J-iYMMG6jmc#action=shareTeamCity

java TeamCity

翻译 2017-06-19 15:05:42 3373 阅读

mysql字符集与校对规则---大小写敏感那点事

在关系型数据库中,oracle/sql_server/db2都有对数据进行区分大小写,不过mysql有点奇怪,对数据不区分大小写,详细情况请看下面解析. MySQL在Linux下数据库名、表名、列名、别名大小写的默认规则是这样的： &n

mysql 字符集字符校对

原创 2017-05-18 15:29:34 8574 阅读

iotop简介

iotop顾名思义就是监控磁盘io状况的,不过他比iostat并没有优秀多少,只是独立统计了每个进程的io状况,比较清晰明了的看出来究竟是那个进程IO占用比较高,这点比较方便.安装和使用都很简单:安装:yum install -y iotop1.用法:iotop [OPTIONS]2.界面说明:TID: 进程的PIDUSER:

磁盘

linux

io

原创 2017-04-13 15:26:13 5122 阅读

linux系统字符编码详解

众所周知,地球上的语言多种多样,在计算机世界,自然也是要适应各种语言.我们安装各种系统的时候也是明示了要选择语言环境和支持的语言环境. 而linux系统的字符编码设置尤为复杂,这可能也是没有考虑到非技术人员去研究这些东西吧. 我遇到的事情是这样的,我们使用了d

linux

字符编码

locale

原创 2017-04-12 11:17:14 3797 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

ping_note

Memcached安装和简单使用

mongodb数据库的备份和数据导出导入

mongodb配置文件配置项简介和例子

MongoDB 慢日志分析

整理mongodb数据空洞碎片和孤儿文档

mysql执行计划expain(desc)详解

分析mysql实例内存使用情况

redis-cluster搭建与使用

redis主从+哨兵sentinel+VIP高可用结构

redis性能分析与优化建议

redis的安装和简单使用

建立mongodb的登录认证功能

mysql的varchar与text对比

mysql8.0初探:(二)MySQL Group Replication-MGR集群简介

自己总结的数据库设计规范

mysql8.0初探:(一)安装和初始化使用

记一个mysql环境RR隔离级别转换成RC的问题

mongodb+分片集群+ycsb测试一例

安装tcmalloc内存控制模块,并配置mysql使用

codis3.2.1集群搭建与测试

mysql+mycat压力测试一例

mysql主从复制跳过复制错误

NGINX安全配置和限制访问

mysql慢查询功能详解

mysql版本升级

mysql多源复制详解

使用docker下载搭建TeamCity容器并使用

mysql字符集与校对规则---大小写敏感那点事

iotop简介

linux系统字符编码详解