51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
开源基础软件社区
元宇宙大会
AISummit人工智能大会
移动端
公众号矩阵
博客
免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2022年软考 PMP项目管理
在线学习 企业服务
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 开源课堂 专栏 直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙技术社区视频号

记录一次生产环境MySQL索引失效的排查过程

早上收到开发同学求助，有个SQL查询耗时特别长，看了执行计划发现没有走索引，但是不知道原因在哪里，我们一起来分析一下。mysqlexplainSELECTFROMartisan_incomeWHEREparent_idIN(222645481,222583953,222181775,222180931,222081126,221678753,221616102,221591783,22121931

mysql
执行计划
原创 点赞0 阅读115 收藏0 评论0 2022-04-08
CentOS 7安装Kibana7.13

CentOS 7安装Kibana7.13

#### 下载安装包 ```language https://artifacts.elastic.co/downloads/kibana/kibana-7.13.3-linux-x86_64.tar.gz ``` #### 解压安装包 ```language tar zxvf kibana-7.13.3-linux-x86_64.tar.gz ``` #### 配置Kibana服务 主要配置以下

ElasticSearch
原创 点赞0 阅读1175 收藏0 评论0 2021-07-14

安装单节点ElasticSearch7.13

#### 创建用户和组 ``` groupadd -g 6001 es useradd -u 60001 -g es es ``` #### 创建目录 ```language mkdir /elastic chown -R es:es /elastic ``` #### 解压安装包 ```language tar zxvf elasticsearch-7.13.3-linux-x86_64.tar

ElasticSearch
原创 点赞0 阅读1195 收藏0 评论0 2021-07-14

记一次MySQL生产库内存异常增高的排查过程

    近期频繁收到一个MySQL实例的内存使用率高的报警，今天我们花时间排查一下问题出在哪里。修改performance_schema因为公司生产环境使用的阿里云RDS，修改参数相对方便，performance_schema默认为0，此次修改为1。修改之后提交参数，数据库会进行重启，建议在业务低峰进行。打开内存监控登录MySQL数据库，执行如下SQL，打开

MySQL
原创 点赞0 阅读1420 收藏0 评论0 2021-06-03

MongoDB索引类型

MongoDB4.2官方支持索引类型如下：单字段索引复合索引多键索引文本索引2dsphere索引2d索引geoHaystack索引哈希索引单字段索引在单个字段上创建升序索引handong1:PRIMARY>db.test.getIndexes()[{"v":2,"key":{"_id":1},"name":"_id_","ns":"db6.test"}]在字段id上添加升序索引handong

MongoDB
原创 点赞0 阅读1312 收藏0 评论0 2021-05-19

MongoDB数据类型

MongoDB4.2官方支持数据类型如下：最经常使用的数据类型：ObjectID：Documents自生成的idString：字符串，必须是utf-8Boolean：布尔值，true或者false(这里有坑哦~在我们大Python中TrueFalse首字母大写)Integer：整数(Int32Int64你们就知道有个Int就行了,一般我们用Int32)Double：浮点数(没有float类型,所有

MongoDB
原创 点赞0 阅读1053 收藏0 评论0 2021-05-17

记录一次生产环境MySQL出现Deadlock

下午同事找到我，生产环境跑批日志出现了deadlock，什么？又是死锁。查看MySQL死锁地址LATESTDETECTEDDEADLOCK------------------------2021-05-1315:51:010x2b0b05a40700***(1)TRANSACTION:TRANSACTION4538725016,ACTIVE0secinserting,threaddeclaredi

deadlock
原创 推荐 点赞0 阅读1170 收藏0 评论0 2021-05-13

MySQL和MongoDB性能对比（YCSB压测）

压测说明MySQL数据量为1000万条记录，共1张表，11个字段，一个字段为主键，其余十个字段类型为text，每个字段100个字符。MongoDB数据量为1000万个文档，共一个集合，11个字段，一个字段唯一，其余十个字段存储文本，每个字段100个字符。MySQL和MongoDB都是阿里云数据库，规格都为4核8G。MySQLbuffercache为6GB，MongoDBcache为4GB。每次测试

MongoDB
原创 点赞0 阅读3527 收藏0 评论0 2021-05-12

MongoDB利用oplog恢复数据

当我们对数据出现误操作的时候，可以利用oplog恢复数据。使用前提：1、环境是副本集2、必须有全备2、全备后oplog没有被覆盖数据全备mongodump-h172.16.254.133--port27017-o/mongodb/backup/backup模拟故障写入数据handong1:PRIMARY>for(vari=1;i<=100;i++){...db.test.insert(

MongoDB
原创 点赞0 阅读1057 收藏0 评论0 2021-04-30

MongoDB副本集oplog设置过小问题

    为了模拟这个故障，我们把副本集所有节点oplog都调到1GB，然后把一个副本开启延迟复制。查看oplog大小handong1:PRIMARY>db.getReplicationInfo(){"logSizeMB":1000,"usedMB":1.41,"timeDiff":62833,"timeDiffHours":17.45,"tFirst"

MongoDB
原创 推荐 点赞0 阅读3977 收藏1 评论0 2021-04-30

MongoDB修改oplog大小

修改oplog有四种方法：方法一步骤如下：停掉所有secondary节点主节点删除local目录下文件，副本节点删除数据目录下所有文件修改所有节点的配置文件，如：oplogSize=1000重启所有节点，包括主节点和副本节点重新配置replcaset，副本节点会重新同步数据（initialsync）优点：操作简单。缺点：需要停服务，若数据量大，数据同步代价高。 方法二步骤如下：remov

MongoDB
原创 点赞0 阅读830 收藏1 评论0 2021-04-29

对已存在集合shardCollection失败

查看集合信息mongos>showcollectionscommsystem.profiletesttest1test2mongos>db.test2.count()982334mongos>查看索引mongos>db.test2.getIndexes()[{"v":2,"key":{"_id":1},"name":"_id_","ns":"db3.test2"}]创建哈希

MongoDB
原创 点赞0 阅读410 收藏0 评论0 2021-04-29

MongoDB索引创建技巧（二）

    MongoDB早起版本对创建索引消耗内存没有做限制，对于大集合添加索引容易造成性能抖动，甚至OOM。    从3.4版本引入了maxIndexBuildMemoryUsageMegabytes参数，默认为500MB，用来限制单条索引创建所消耗的内存。4.2.3版本之后该参数默认为200MB。 &ens

MongoDB
原创 点赞0 阅读590 收藏0 评论0 2021-04-28

MongoDB通过profile监控慢日志

基础环境CentOS7.5MongoDB4.2分片集群开启profile单机版>db.getProfilingLevel()0>useadminswitchedtodbadmin>db.setProfilingLevel(1,100){"was":0,"slowms":100,"sampleRate":1,"ok":1}>db.getProfilingLevel()10为不

MongoDB
原创 点赞0 阅读437 收藏0 评论0 2021-04-28

MongoDB索引创建技巧（一）

索引排序如果查询程序无法从索引获得排序顺序，就会将结果放在内存中排序，使用排序索引可以提高性能。mongos>usedb3switchedtodbdb3mongos>db.test.getIndexes()[{"v":2,"key":{"_id":1},"name":"_id_","ns":"db3.test"}]mongos>db.test.createIndex({"id":

MongoDB
原创 点赞0 阅读298 收藏0 评论0 2021-04-28

MongoDB修改数据库名

    生产环境中，有时候需要去修改已经创建的库名，而且库下已经有了数据。有以下几种方法。解决方案一通过copydb拷贝原来的数据，然后drop原来的DB（4.0及以前版本可用，新版本不可用）db.copyDatabase('old_name','new_name');useold_namedb.dropDatabase();解决方案二通过mongodump

MongoDB
原创 点赞0 阅读1781 收藏0 评论0 2021-04-27

MongoDB整理物理空间碎片

    接触过MySQL的同学应该知道，表进行批量的delete操作之后，数据盘空间并不会马上释放，innodb只是把删除的行对应的数据块做下标记，下次使用时候会优先使用。    而MongoDB也有类似的情况，批量remove文档之后，磁盘空间并不会释放，我们可以使用compact进行碎片整理。注意事项实例的存储引擎为WiredTiger。该操作会导致集合所属的数据库被锁定，且该数据库的读写操作

mongodb
原创 点赞0 阅读654 收藏0 评论0 2021-04-27

MongoDB利用dbhash检查一致性

我的环境是分片集群，抽样检查ycsb库hdshard1是否一致。检查primary节点hdshard1:PRIMARY>useycsbswitchedtodbycsbhdshard1:PRIMARY>db.runCommand({dbhash:1}){"host":"mongo6:40001","collections":{"usertable":"8606c40cdb5bc61de8

MongoDB
原创 点赞0 阅读339 收藏0 评论0 2021-04-27

YCSB测试MongoDB

基础环境CentOS7.5MongoDB4.2分片集群YCSB0.17 部署YCSB安装包和部署步骤见以下链接：https://github.com/brianfrankcooper/YCSB/tree/master/mongodb?spm=a2c4g.11186623.2.2.49ff38dc0tfGjX https://blog.csdn.net/vkingnew/arti

MongoDB
原创 点赞0 阅读842 收藏0 评论0 2021-04-26

MongoDB Ops Manager部署

基础环境CentOS7.5MongoDB4.2部署MongoDB前期已经部署过MongoDB分片集群安装MongoDBOpsManagerserver节点安装rpm-ivhmongodb-mms-4.2.20.57016.20201007T1901Z-1.x86_64.rpm配置参数文件conf-mms.propertiesvi/opt/mongodb/mms/conf/conf-mms.prop

监控
原创 点赞0 阅读835 收藏0 评论0 2021-04-23

PMM监控MongoDB集群

今天我们来研究一下，怎么用PMM监控MongoDBcluster。安装docker安装docker依赖yuminstall-yyum-utilsdevice-mapper-persistent-datalvm2配置dockeryum源yum-config-manager--add-repohttps://download.docker.com/linux/centos/docker-ce.repo

PMM监控
原创 点赞0 阅读1234 收藏0 评论0 2021-04-21

MongoDB分片集群之移除分片节点

我们从分片集群里移除hdshard4分片。查看分片集群状态mongos>sh.status()---ShardingStatus---shardingversion:{"_id":1,"minCompatibleVersion":5,"currentVersion":6,"clusterId":ObjectId("60545017224c766911a9c440")}shards:{"_id

mongodb
原创 点赞0 阅读931 收藏0 评论0 2021-04-19

MongoDB分片集群之添加分片节点

    在生产环境添加分片既添加一个副本集，所以此次测试我们需要新创建一个副本集。副本集创建过程参考文档如下：https://blog.51cto.com/u_12592884/2698103 查看新建副本集状态hdshard4:PRIMARY>rs.status(){"set":"hdshard4","date":ISODate("2021

MongoDB
原创 点赞0 阅读651 收藏0 评论0 2021-04-19

MongoDB分片集群之balance运维

查看mongo集群是否开启了balancemongos>sh.getBalancerState()true查看是否正在有数据的迁移mongos>sh.isBalancerRunning()false设置balance时间窗口mongos>useconfigswitchedtodbconfigmongos>db.settings.update({_id:"balancer"}

mongodb
原创 点赞1 阅读1358 收藏0 评论2 2021-04-19

MongoDB集群分片管理之哈希分片

检查数据库分片mongos>useconfigswitchedtodbconfigmongos>db.databases.find(){"_id":"recommend","primary":"hdshard1","partitioned":true,"version":{"uuid":UUID("cb833b8e-cc4f-4c52-83c3-719aa383bac4"),"last

mongodb
原创 点赞0 阅读452 收藏0 评论0 2021-04-19

MongoDB集群分片管理之范围分片

查看数据库分片情况mongos>useconfigswitchedtodbconfigmongos>db.databases.find(){"_id":"recommend","primary":"hdshard1","partitioned":true,"version":{"uuid":UUID("cb833b8e-cc4f-4c52-83c3-719aa383bac4"),"la

MongoDB
原创 点赞0 阅读577 收藏0 评论0 2021-04-16

MongoDB集群分片管理之数据库分片

分片整体信息mongos>sh.status()---ShardingStatus---shardingversion:{"_id":1,"minCompatibleVersion":5,"currentVersion":6,"clusterId":ObjectId("60545017224c766911a9c440")}shards:{"_id":"hdshard1","host":"hd

MongoDB
原创 推荐 点赞0 阅读970 收藏0 评论0 2021-04-16

MongoDB副本集版本升级

基础环境CentOS7MongoDB3.2副本集（一主三副本） 升级过程MongoDB升级不能跨版本，所以此次的升级顺序为3.2->3.4->3.6->4.0->4.2先升级secondary节点，然后降级primary节点，最后升级primary节点 从3.2.X升级到3.4.X 升级secondary节点找个secondary节点，将其关闭

MongoDB
原创 点赞0 阅读500 收藏0 评论0 2021-04-13

MongoDB副本集配置节点优先级

 MongoDB副本集中，如果要指定某些节点不能被选为primary节点，或者primary节点必须在某些节点中选出，该怎么配置呢？可以通过priority修改优先级。 场景：副本集中个别节点配置略低，禁止成为primary节点。延迟节点或者隐藏节点禁止成为primary节点。跨机房的副本集，比如A机房作为生产环境，B机房作为灾备环境。 查看节点优先级handong1

MongoDB
原创 点赞0 阅读975 收藏0 评论0 2021-04-12

MongoDB复制集配置延迟从库

生产环境中，配置延迟从库（延迟副本）有时候会成为运维同学的救命稻草，比如在我们误操作之后，可以从延迟从库中找回被误操作的数据。 前提必须是priority=0，避免成为primary节点必须是hidden=0，避免被应用读到过期数据如果votes=1，那么延迟节点也具备投票权 注意事项延迟时间要低于oplogwindow，避免primary节点删除了旧的oplog延迟时间要大于

MongoDB
原创 点赞0 阅读356 收藏0 评论0 2021-04-12
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

Copyright © 2005-2022 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 意见反馈 了解我们 全部文章
在线客服 网站地图 热门标签
友情链接
开源基础软件社区 51CTO学堂
51CTO