Because each Snapshot contains only pointers and blocks that have changed, the size of the Snapshot is very small compared to the complete system it represents. 下面的图很好地讲述了Netapp Snapshot的实现原理。1、
转载
2024-10-22 14:16:22
19阅读
Elastic Search使用java代码连接出错的问题及其解决方式 昨天将elastic Search 以及他的可视化界面管理工具 head 安装好了之后，今天便进入了 Elastic Search 整合 java 代码的操作，首先是连接指定地址、端口的es。 连接指定地址以及指定端口的es 代码如下： fi
转载
2024-02-26 15:44:47
71阅读
事务日志可视化转换123456789101112131415161718192021222324#!/bin/sh
# scriptname: zkLog2txt.sh
# zookeeper事务日志为二进制格式，使用LogFormatter方法转换为可阅读的日志
if [ -z "$1" -o "$1" = "-h" ];then
echo "Useage: $0 <LogFile>
Cross Cluster Search简介cross-cluster search功能允许任何节点作为跨多个群集的federated client（联合客户端），与tribe node不同的是cross-cluster search节点并不会加入remote cluster（远程集群），而是用轻量的方法连接到remote cluster，以便执行federated search（联合搜索）Rem
转载
2024-03-22 19:28:14
90阅读
文章目录1. es 快照(snapshot)简介2. 快照(snapshot)的版本兼容3. 快照(snapshot)仓库 repository4.基于共享文件系统配置repository5. source only repository6. 其他存储类型的repository7. verify repository的状态8. snapshot快照(snapshot)操作9.resotre 恢复
转载
2024-08-14 18:54:21
191阅读
# OpenStack 使用 Snapshot 恢复卷
## 前言
在使用 OpenStack 进行云计算操作时，数据的备份和恢复是非常重要的。OpenStack 提供了一种称为 Snapshot 的功能，可以对卷（Volume）进行快照，从而实现数据备份和恢复的需求。
本文将介绍 OpenStack 中如何使用 Snapshot 来恢复卷，并提供相关的代码示例进行说明。
## Snaps
原创
2023-12-22 07:56:24
154阅读
# Redis Snapshots 快照与恢复指南
Redis 是一个高性能的键值数据库，它提供了多种数据持久化的方式，其中 “快照” 是比较常用的一种。本文将详细说明如何在 Redis 中进行快照的创建与恢复。
## 整体流程
我们首先了解整个过程的步骤，具体如下所示：
| 步骤 | 操作 | 描述 |
|-
系列文章目录 文章目录前言一、总体恢复流程二、集群故障恢复2.1 环境信息2.2 选择一个节点恢复备份数据2.2 添加第二个节点2.3 添加第三个节点2.4 调整第1个节点的启动参数总结 前言如果整个etcd集群的所有节点宕机，并且通过常规节点重启，无法完成选主，集群无法恢复。本文针对这种情况进行集群恢复指导。如果本地的数据已经损坏，只能通过历史的snapshot进行恢复（前提是保存有snapsh
转载
2024-05-15 09:53:34
55阅读
一、Snapshort做数据迁移的优点
优点
1、速度快适合大数据量迁移(2500万数据建立快照需要2-3分钟产出4.5G文件)
二、配置
单节点配置
1、创建快照仓库
在elasticsearch机器上创建仓库目录：
mkdir /repository
# 赋权
chown -R elasticsearch:elasticsearch /repository
2、在elasticse
转载
2024-03-17 00:03:52
189阅读
一、崩溃恢复崩溃恢复一般指当前集群中不存在Leader节点时，此时集群处于一个崩溃的状态需要及时的选举出新的Leader，然后进行数据一致性处理，Leader崩溃是指，Leader节点退出或者重启以及集群中半数Follower不能与Leader保持通信，此时认为处于崩溃状态。针对这几种情况从源码角度分析集群的恢复过程。1、Leader宕机或者重启 出现这种情况是，集群中的Follower节点会重新
转载
2024-03-25 07:54:35
250阅读
一、简介①主从示例说明（1）主节点失效主节点失效时，我们需要有一个备份主节点（backup master）。当主要主节点（primary master）崩溃时，备份主节点接管主要主节点的角色，进行故障转移，然而，这并不是简单开始处理进入主节点的请求。新的主要主节点需要能够恢复到旧的主要主节点崩溃时的状态。对于主节点状态的可恢复性，我们不能依靠从已经崩溃的主节点来获取这些信息，而需要从其他地方获取，
转载
2024-07-10 01:48:57
109阅读
上面介绍的PV和PVC模式是需要运维人员先创建好PV，然后开发人员定义好PVC进行一对一的Bond，但是如果PVC请求成千上万，那么就需要创建成千上万的PV，对于运维人员来说维护成本很高，Kubernetes提供一种自动创建PV的机制，叫StorageClass，它的作用就是创建PV的模板。具体来说，StorageClass会定义一下两部分：PV的属性 ，比如存储的大小、类型等；创建这种PV需要使
转载
2024-05-17 10:37:15
31阅读
前段时间200在某鱼淘了一台小主机，银行淘汰下来的，处理器是j1900五脏俱全，到手就直接装了Ubuntu server系统跑docker当nas用。美中不足的是装完系统之后可用的存储空间只有50多G，而且这机器仅有一个硬盘插槽。基于长远考虑打算换个500G固态。环境懒得再重新搭一遍了，直接系统迁移。准备一个Ubuntu desktop的安装U盘，注意是Ubuntu desktop而不是Ubunt
转载
2024-03-07 13:17:53
44阅读
虽然ES提供了replicas shards的机制来保证数据的完整性不会因为几个节点的奔溃而被破坏，但是定期的数据备份以备不时之需依然重要。此外，通过备份与恢复也可实现数据在不同集群间的迁移（直接复制data目录下的索引文件的做法我尝试过，但没有成功）。 备份的方式在 官方文档 里有清楚的交代：先创建仓库(repository)，再往仓库里添加一个快照(snapshot)，查
转载
2024-03-01 19:53:38
47阅读
简介 Elasticsearch 拥有副本机制来保障集群的高可用，然而无法解决如下情况的数据丢失: 主副本所在机器存储全部损坏。 误删除索引数据。 升级失败，数据无法回滚。 定期对数据做备份，按需恢...
转载
2021-06-08 23:43:25
1009阅读
2评论
40.1演示环境CM和CDH版本为5.13.0操作系统：CentOS6.5采用root用户操作40.2 操作演示HBase服务，点击“表浏览器”
查看表内容hbase(main):003:0> scan 'picHbase'
ROW COLUMN+CELL
背景：一个EC2的Windows实例出现了问题，豆子打算从备份的EBSSnapshot上创建一个AMI镜像，然后再通过镜像创建一个新的实例。然后问题来了，同样的操作在Linux上执行过几次都没问题，但是没想到在Windows上面就行不通了。问题出在AMI的镜像上面，通过EBSSnapshot创建的Windows镜像，他显示的Platform是otherLinux,如果我在通过他来launch一个实
原创
2018-11-23 05:47:30
4788阅读
场景 hbase数据迁移时我们需要统计迁移时的数据量，以确保迁移后的数据的完成，但是
原创
2023-05-06 14:58:17
267阅读
本文主要讲解Elasticsearch下实现索引迁移的几种方式。0、引言将ES中的索引拷贝到其他ES中，或者将ES整体迁移，研究发现有两个开源的工具：elaticserch-dump和 Elasticsearch-Exporter。 除此之外，logstash在索引同步、迁移方面的作用也很大。 两工具及logstash实现迁移的介绍、安装、使用、验证效果等展示如下：1、elas
本篇文章我们来解决第三个问题：kibana又如何用直观的显示我们希望看到的日志报表？根据数据显示看板，大致三步，第一步是设置数据源，根据我们之前推送给elasticsearch的日志数据，使用management标签创建索引模式；第二步根据第一步创建的索引模式，使用Visualize 标签页用来设计可视化图形；第三步根据第二步做好的可视化图形，使用Dashboard标签来配置我们的看板一、下面我们
转载
2024-04-24 10:41:00
56阅读
