直接curl对应的端口就行，例如，在配置文件中有一个端口的配置，v2.4.1版本以前是http_profile（默认值是9100），v2.4.1开始分拆为2个，full_sync.http_port（默认9101）表示全量的端口，incr_sync.http_port（默认9100）是增量的端口。
官网文档: github: https://github.com/alibaba/MongoShake/ This is a brief introduction of Mongo-Shake, please visit english wiki or chinese wiki if you wan ...
转载
2021-09-26 16:41:00
617阅读
2评论
之前360出的那个mongodb数据同步工具比较老，对于3.X版本的mongodb支持不太好。阿里巴巴出了个 MongoShake ， 目前可以支持到MongoDB4.X（我测试从mongodb3.2.16同步数据到mongodb4.0.4没问题）官方地址： https://github.com/alibaba/MongoShake中文介绍地址： https://yq.aliyun.com/ar
原创
2019-05-08 11:17:57
2773阅读
########## [work@10.10.10.10]$ cat collector.conf # if you have any problem, please visit
说明
我们原有的 MongoDB 副本集集群部署在 k8s 上，后因业务需求，在 k8s 集群外使用三台虚拟机组建了一套相同架构的 MongoDB 副本集集群，现想将在k8s集群上mongoDB数据迁移到新的MongoDB集群里。
集群信息：
mongodb-1：10.x.x.56
mongodb-2：10.x.x.57
mongodb-3：10.x.x.58
功能
mongos:2
MetaQ等方式的灵活对接，适用于日志订阅、数据中心同步、Cache异步淘汰等场景。说明如需了解更多MongoShake相关信息，请参见MongoDB-shake Github主页。支持的数据源 源数据库 目标数据库..
目的: MongoShake 数据同步到kafka(json格式),是带有{"Name":"key","Value":"123"} 的json, 实际上这个json 为 {"key":"123"} 转换如下: import json ''' k:节点name v:节点value cn:当前节点 '' ...
转载
2021-09-27 17:33:00
129阅读
2评论
在当前的数据库系统生态中，大部分系统都支持多个节点实例间的数据同步机制，如Mysql Master/Slave主从同步，Redis AOF主从同步等，MongoDB更是支持3节点及以上的副本集同步，上述机制很好的支撑了一个逻辑单元的数据冗余高可用。跨逻辑单元，甚至跨单元、跨数据中心的数据同步，在业务层有时候就显得很重要，它使得同城多机房的负载均衡，多机房的互备，甚至是异地多数据中心容灾和多活成为
转载
2020-03-06 09:34:00
199阅读
2评论
MongoDB向ES同步数据延迟越来越大，有的已经超过10个小时，造成客户新加入的用户无法被搜索出来。由于在系统中ES类似于数仓，很多统计和第三方接系统都需要从ES获取数据，所以也影响了一些其他依赖ES数据的功能和业务。 ...
转载
2020-05-11 02:03:00
236阅读
2评论
MONGODB 数据库在很多应用场景中都有需要进行数据同步的方案需求1 多数据中心数据同步方案2 数
最近需要进行MongoDB中数据迁移,之前使用过阿里系的redisShake感觉不错, 这次打算使用mongoShake来进行同步 github: https://github.com/alibaba/MongoShake 前提条件: 远端mongo示例需要开通oplog 将mongo-shake安
导出mongo索引今天使用mongoshake工具同步mongodb发现索引不能同步，所以找了一个同步索引脚本在源库执行这个脚本varcollectionList=db.getCollectionNames();for(varindexincollectionList){varcollection=collectionList[index];varcur=db.getCollection(coll
转载
2020-06-28 17:06:39
1546阅读
去年和今年年初，我们开源了MongoShake和RedisShake分别用于MongoDB和Redis的迁移、同步、备份等多种需求。最近，我们的shake系列又进一步壮大，我们推出了一款dynamodb迁移的工具：dynamo-shake。目前支持从dynamodb迁移到MongoDB，后续我们还会
转载
2019-09-05 17:53:00
59阅读
