Kafka 介绍https://kafka.apache.org/quickstartKafka的使用场景日志收集：一个公司可以用Kafka收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consumer，例如hadoop、Hbase、Solr等。消息系统：解耦和生产者和消费者、缓存消息等。用户活动跟踪：Kafka经常被用来记录web用户或者app用户的各种活动，如浏览网页、搜索
关于 Elasticsearch 跨机房灾备方案，这篇说透了>>
原创
2022-05-12 20:05:46
40阅读
本章我们讨论有关Kafka集群的容错性与高可用性话题在Kafka中，复制的单元是分区，每一个主题中都有一个或者多个分区，每个分区都有一个领导者以及若干个追随者。当创建主题之后，需要指定分区及复制因子，常见的复制因子通常是3，即一个领导者，两个追随者。在Kafka集群中，所有的读写操作都会路由到领导者，追随者只会定期从领导者请求获取最新消息，消费者并不会从追随者分区中获取消息，追随者存在的意义只在于
转载
2024-10-17 12:03:01
94阅读
背景：在进行服务上云的时候发生了性能损耗问题，一步步从网络带宽问题、JDK版本问题、公网时延问题、CPU和内存问题走了很多弯路，最后才定位到kafka-producer，当然这也是由于业务排查过程中对于机房之间时延的几毫秒不重视造成问题：对服务本地机房和阿里云压测时，压测结果如下本地机房阿里云 TPS：150KTPS：3K从可以看到的问题就是阿里云的TPS比本地的
转载
2024-10-19 18:34:12
51阅读
很多企业都会面高并发业务和临海量数据的挑战，当机房发生断电、火灾、地震等情况，所有服务器面临业务整体瘫痪的风
原创
2024-03-13 13:52:36
138阅读
一、业内灾备方案1. Snapshot1.1 介绍Cluster A & B仍然是独立的Ceph集群，通过RBD的snapshot机制，在Cluster A端，针对image定期通过rbd创建image的snap，然后通过rbd export-diff, rbd import-diff命令来完成image备份到Cluster B。1.2 ...
原创
2021-04-20 10:59:31
832阅读
设置宿主机可访问桥接的虚拟机在虚拟机[CentOS 8]上进行如下操作$ systemctl stop firewalld.service # 关闭虚拟机防火墙，需要root权限
$ ifconfig # 查看虚拟机ip地址
$ nohup ./node_exporter & # 启动各种应用,例：node_exporter
$ netstat -tln # 查看监听端口此后可在宿主机
转载
2024-10-28 10:24:14
56阅读
目前越来越多的客户重视灾备数据站点的建设，由于存储级灾备和操作系统级灾备的局限性（主要是带宽高及事务完整性不容易保证），因此在选择甲骨文的应用级灾备时，通常考虑的是DataGuard和GoldenGate两款软件的实现，由于这两款软件也在快速的发展和更新，因此我们先来看一下最新版本ADG和OGG的新特性：Oracle DataGuard 11g的新特性 ~~~~~~Ÿ 物理
转载
精选
2013-09-10 16:07:26
828阅读
华为云分布式缓存服务DCS，具有强大的功能，现在小编教大家如何在DCS管理控制台将两个Redis主备实例建立全球灾备。建立全球灾备，会对主实例和备实例进行升级，实例进程会重启，连接会中断。同时备实例会从主实例同步数据，原有的数据会被覆盖，需要谨慎操作。创建了全球灾备后，不同区域的实例可以相互同步数据。当前，该功能只在华北、华东、华南三个区域支持，请以控制台实际情况为准。1 前提条件已经创建了主实例
转载
2024-01-22 20:01:17
54阅读
GBase 8s HAC（容灾高可用）采用基于数据库日志的增量数据同步技术实现节点高可用。根据灾备距离不同分为同城容灾高可用和异地灾备高可用。同城容灾高可用支持一主一从的部署方式，异地灾备高可用支持一主多备的部署方式。HAC主节点执行读写业务的同时，备节点可承担查询、报表等读业务。HAC具有安装简单、应用透明无感知、故障自动切换、无须额外付费等特点。 &nb
转载
2023-11-24 00:48:32
119阅读
北京、广州两套redis集群环境我们的需求是将北京redis集群数据同步广州redis废话不多说 直接上代码 1、导出脚本sync_export_redis30_aof.sh sync_export_redis30_aof.sh#行数
offset=''
#端口号
port=''
#redis安装路径-测试
#install_dir="/opt/web_app/redis-
转载
2023-08-10 15:54:58
220阅读
备份的主要目的是灾难恢复，备份还可以测试应用，回滚数据修改，查询历史数据，审计等。我们将从生产运维的角度了解备份恢复的分类与方法。 在企业中数据的价值至关重要，数据保障了企业业务的运行，因此数据的安全性及可靠性是运维的重中之重，任何数据的丢失都有可能会对企业产生严重的后果。造成数据丢失的原因如下：程序错误人为错误数
转载
2023-12-14 15:10:07
222阅读
# 如何实现Java灾备方案
## 灾备方案流程
```mermaid
flowchart TD
A(确定需求) --> B(选择灾备方案)
B --> C(搭建灾备环境)
C --> D(配置灾备策略)
D --> E(测试灾备方案)
```
## 灾备方案步骤
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 确定需求 |
| 2 |
原创
2024-03-09 04:36:36
81阅读
灾难备份就是指利用技术、管理手段以及相关资源确保既定的关键数据、关键数据处理系统和关键业务在灾难发生后可以恢复的过程。而业务持续性管理（Business Continuity Management），是指将业务运作所面临的风险控制在最低水平，以及在业务运作中断后立即恢复业务运作的业务管理流程。如果说灾难备份关注的是数据的恢复，那么业务连续性管理关注的是所有影响组织业务持续运作的因素。2005年，在
多机房架构存在的原因 单机房一旦死机，断电、维护根本无法挽回整个数据，想离线读取等都不行。当一个机房不可用，所有的业务就都不可用。荔枝 FM 要求业务离用户最近，南方的用户连南方的机房，北方的用户连北方的机房，国外的用户连国外的机房。大陆的网络和国外的网络有一定的隔离性，如果没有做多机房的连通性，数据的传输和实时性就会有问题。 跨机房的作用是为了备份，一个机房的数据放在另一个机房是异地多活。
Redis跨云灾备是一种重要的技术方案，可以确保在不同云环境中的数据一致性与可用性。实现这样的灾备方案需要综合考虑多个方面，包括环境预检、部署架构、安装过程、依赖管理、配置调优以及扩展部署。在这篇博文中，我们将详细探讨如何从各个环节逐步解决Redis跨云灾备问题。
## 环境预检
在进行Redis跨云灾备之前，我们首先需要确认环境的基本要求，确保所有相关组件能够正常运行。具体系统要求如下表所示
异地备份工具Amazon Web Services’ S3 storage solution is useful for many things, and serves as the CDN for many major websites. But despite the portfolio of high-profile use cases for the service, it’s still
转载
2024-06-15 17:28:39
64阅读
随着数字化转型浪潮的迅速推进，关键基础设施的运行安全和业务连续性保证成为数字化建设的基石。云计算时代带来的资产复杂性和灾备技术多态性，给灾备能力建设、灾备资源高效利用和日常灾备运营提出了新挑战。灾备建设如何“简单又弹性”、灾备运营如何“省心且省力”？美创科技自成立以来持续耕耘灾备领域。2008年数据库灾备系统发布，2017年全业务容灾系统（DBRA）正式发布。2021年，灾备集中管控平台（DRCC
转载
2023-11-03 21:45:51
165阅读
Oracle灾备:一般方法：Data Guard、GoldenGate和CDP角度。 Oracle Data Guard：提供了一种数据同步技术来实现Oracle的高可用性、增强的性能以及自动的故障转移方案，为主数据库创建和维护多个备用数据库，主数据库的改变能够自动将信息从主数据库传送到备用数据库，并保证在此过程中没有信息的丢失。Data Guard有两种类型的备用数据库：物理备用和逻辑
转载
2023-12-16 14:30:57
72阅读
在建立灾难备份系统时会涉及到多种技术，如：基于智能存储（磁盘镜像技术）、数据复制技术、SAN或NAS技术、基于IP的SAN的互连技术、快照技术等。一个灾备系统的实现可以采用不同的技术，例如：采用硬件进行远程数据镜像，我们称为硬件复制技术。这种技术的提供者是一些存储设备厂商。数据的复制完全通过专用线路实现物理存储设备之间的交换。另一种技术是：采用软件系统实现远程
原创
2011-11-24 09:53:01
1475阅读
