这篇文章主要会介绍Redis的集群搭建、主从复制、哨兵模式、缓存击穿、缓存穿透、缓存雪崩等目录一、Redis集群搭建1、基本服务搭建2、从机连接主机二、Redis的主从复制1、什么是主从复制2、特点3、复制的两种规则三、哨兵模式四、什么是缓存击穿、缓存穿透、缓存雪崩及怎么避免和解决1、缓存击穿2、缓存穿透3、缓存雪崩总结一、Redis集群搭建
转载
2024-03-19 09:16:40
54阅读
大数据平台搭建版本这个版本真的关键 hadoop：2.10.0准备环境新增用户，ssh免密登陆如果配置分布式spark还需要 vi /etc/hostname 添加到下图修改 vi /etc/hosts，三台机器都需要127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1
转载
2024-02-20 10:46:15
98阅读
作者简介昱康，携程架构师，对分布式计算和存储、调度、查询引擎、在线离线混部、高并发等方面有浓厚兴趣。本文将分享携程Hadoop跨机房架构实践，包含Hadoop在携程的发展情况，整个跨机房项目的背景，我们跨机房的架构选型思路和落地实践，相关的改造和对未来的展望，希望给大家一些启迪。 一、Hadoop在携程的落地及发展情况 携程Hadoop是从2014年引进的，基本上每年较前一年以
转载
2024-06-18 21:51:15
161阅读
1、HDFS数据迁移解决方案1.1 迁移方案 ——数据迁移的使用场景和考量因素场景冷热集群数据同步、分类存储使用频率较高的数据随着时间发展频率变低而迁移集群数据整体搬迁：原A机房搬迁到B机房数据的准实时同步：数据双备份使用考量因素带宽：带宽使用多了影像正常业务，带宽低了迁移慢性能：采用单机程序，还是多线程的分布式程序增量同步：TB\PB级别的数据如何只迁移增量数据数据迁移的同步性：数据迁移的过程需
转载
2023-11-03 19:28:37
593阅读
Hbase表跨集群迁移手册将旧集群的namespaceA下的表移到新集群的namespaceB下面 1、检查新、旧集群的hdfs、hbase是否正常 （1）使用命令：hbase hbck #查看hbasemeta表情况，确认0个，说明hdfs中的数据和hbase表中的meta表是对应的。（2）使用hdfs dfsadmin –report查看
转载
2023-12-12 18:40:01
10000+阅读
功能和环境说明 实际环境是开发使用的两台服务器，每个服务器上是三个集群容器节点，总共六个节点，使用weave实现跨主机的通信，并且利用小插件可以实现在局域网或者是在外网查看监控集群的webUI和开放7077等关键端口进行程序远程调试功能。 目前网上跨主机的工具很多，我挑选的是使用普遍点和资料多点的weave，我实习的这个公司的需求并不大，只需要解决他们的hadoop，spark的开发环境就行了。
转载
2024-08-02 13:34:59
61阅读
MySQL数据库的二进制日志binlog记录了对数据库的全量DDL和DML操作，对数据库的point to point灾难恢复起着无法替代的关键作用。因此，基于此类考虑，需要对生产环境产生的binlog做好相应的备份措施。 这里主要谈及2种备份方法，一种通过脚本定时调度的方式，强行切换binlog，增量备
转载
2024-05-30 20:53:52
153阅读
Overview最近一段时间都在搞集群迁移。最早公司的hadoop数据集群实在阿里云上的，机器不多，大概4台的样子，据说每个月要花7000多。从成本的角度，公司采购了4台2手服务器(E5-2420 v2 * 2+96G内存)在办公室自己搭数据集群。虽然说机房条件艰苦，没空调就算了，还有暖气呢，但是机器还是挺不错的，比阿里云32G的的机器强多了，4台大概2万，还不够阿里云烧3个月的，理论
转载
2024-03-25 16:14:18
31阅读
mysql跨机房容灾备份方案的描述
在现代企业中，数据安全与高可用性至关重要。特别是在跨机房环境下，MySQL 数据库的容灾备份方案显得尤为重要。本文将为您详细介绍如何构建一套可靠的 MySQL 跨机房容灾备份方案，包括环境预检、部署架构、安装过程、依赖管理、服务验证、版本管理等内容。
## 环境预检
在开始之前，需要对系统进行预检，以确保我们的环境符合要求。以下是系统要求的表格：
| 项
在实际工作中，我常常面临如何配置 Hadoop 实现跨机房的异地备份的问题。为了高效、可靠地进行备份，我整理了整个过程，从环境准备到配置详解、验证测试乃至优化技巧。以下是我的整理结果。
首先，我准备了环境要求，确保我们的硬件和软件匹配。以下是我们的【版本兼容性矩阵】：
| 组件 | 版本 | 备注
目录一、多机房部署的难点是什么1.直接跨机房读取从库：2.在机房B部署一个从库，跨机房同步主库的数据，然后机房B的应用就可以读取这个从库的数据 二、逐步迭代多机房部署方案1.同城双活2.异地多活一、多机房部署的难点是什么多机房部署的含义是： 在不同的IDC机房中部署多套服务，这些服务共享同一份业务数据，并且都可以承接来自用户的流量这种架构听起来非常美好，但是在实现上却是非常复杂和困难的假
转载
2023-12-21 11:19:00
159阅读
测试使用vitess的时候发现vitess元数据的实现有多种方案，etcd, etcd2, zk,zk2, 由于刚开始测试的时候使用的是基于k8s集群+etcd的，以下就分步说明灾备实现方案：1. 前置条件 元数据实现方式必须选择etcd2, 即在启动的时候需要增加参数 -topo_implementation etcd2 #元数据实现方案， 此处一定需要选择etcd
转载
2024-06-04 10:16:19
159阅读
根据HA架构图，规划HA的分布式集群服务器HA集群规划配置参考图根据官方文档配置HA部分说明Architecture在典型的ha集群中，两台独立的机器被配置为namenode。在任何时间点，一个namenodes处于活动状态，另一个处于备用状态。活动NameNode负责集群中的所有客户端操作，而备用服务器只是充当从服务器，保持足够的状态，以便在必要时提供快速故障转移。备用节点与活动节点保持状态同步
转载
2024-04-29 20:30:10
53阅读
相信很多人都在同时使用多台计算机：家里，办公室，或者其它秘密地方。当然就算现在没有多台电脑，将来也会有的。多台电脑对应多个硬盘，也对应着多个文件夹。如何进行数据同步是很多人头痛的问题，完全靠 U 盘来同步，时间长了根本无法记得哪个版本最新，哪个版本需要修改，到最后，弄错文件也是经常发生的事情。还有一个比较重要的应用是数据备份。我们在 20090720 早间软闻 里征集了数据同步方案，读者好强大，基
在分布式架构中，服务治理是一个重要的问题。在没有服务治理的分布式集群中，各个服务之间通过手工或者配置的方式进行服务关系管理，遇到服务关系变化或者增加服务的时候，人肉配置极其麻烦且容易出错。之前在一个C/C++项目中，采用ZooKeeper进行服务治理，可以很好的维护服务之间的关系，但是使用起来较为麻烦。现在越来越多新的项目采用consul进行服务治理，各方面的评价都优于ZooKeeper，经过几天
转载
2024-08-15 08:55:03
105阅读
多机房部署：跨地域的分布式系统如何做？多机房部署的难点是什么？逐步迭代多机房部署方案同城双活异地多活总结 多机房部署的难点是什么？多机房部署的含义是：在不同的 IDC 机房中，部署多套服务，这些服务共享同一份业务数据，并且都可以承接来自用户的流量。这样，当其中某一个机房出现网络故障、火灾，甚至整个城市发生地震、洪水等大的不可抗的灾难时，你可以随时将用户的流量切换到其它地域的机房中，从而保证系统可
转载
2023-11-09 11:42:54
85阅读
1、复制通过执行slaveof让一个服务器去复制另一个服务器。1.1、旧版复制功能的实现分为同步和命令传播两个操作：同步操作将从服务器数据库状态更新至主服务器当前所处的数据库状态；命令传播操作则用于在主服务器的状态被修改时导致主从服务器的状态出现不一致时，让主从服务器数据库重新回到一致状态。同步步骤从服务器向主服务器发送SYNC命令；收到SYNC命令的主服务器执行BGSAVE，在后台生成一个RDB
转载
2024-02-04 01:15:28
80阅读
1.由多个Redis服务器组成的分布式网络服务集群；每一个Redis服务器称为节点Node，节点之间会互相通信。两两相连；Redis集群无中心节点。 当用户需要处理更多读请求的时候，添加从节点可以扩展系统的读性能，因为Redis集群重用了单机Redis复制特性的代码，所以集群的复制行为和我们之前介绍的单机复制特性的行为是完全一样的。 2.故障转移&nbs
转载
2023-08-11 19:34:43
217阅读
Rotter 是禧云自主研发的跨机房Redis双向同步解决方案（下文简称为方案），具有零侵入、高吞吐量、低延时、高堆积能力等特点。当前版本支持Sentinel模式和单点模式Redis架构。
作者杨海波 一、项目介绍Rotter是禧云自主研发的跨机房Redis双向同步解决方案（下文简称为方案），具有零侵入、高吞吐量、低延时、高堆积能力等特点。当前
转载
2023-07-08 22:19:05
303阅读
随着云计算十余年的高速发展，作为目前可见的最新阶段，多云正在快步大踏步前进。而多云趋势所带来得数据云间迁移，也逐步常态化。因此，缓存 Redis 已成为高并发场景下提升数据访问速度的标配。不仅是数据云间迁移，目前大型系统对于缓存强依赖，致使大多数企业都会面临大量并发读写数据时访问速度慢、数据库压力大，以及缓存数据不⾜带来的缓存击穿及雪崩⻛险。其中，Redis 就起到了降低数据库压力，提升数据访问速
转载
2023-08-11 16:17:54
266阅读
