一,什么是ELK通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK 又称为ELK stack，官方域名为stactic.co，ELK stack的主要优点有如下几个：1.处理方式灵活： elasticsearch是实时全文索引，具有强大的搜索功能2.配置相对简单：elasticsearc
转载
2024-03-05 03:45:55
72阅读
ELK集群是指Elasticsearch、Logstash和Kibana的组合，用于实时日志分析和可视化。高可用方案是指保证系统在出现故障时仍能正常运行的能力。下面我将详细介绍如何实现ELK集群的高可用方案。
首先，让我们通过以下步骤来实现ELK集群的高可用方案：
| 步骤 | 操作 |
|-------|------|
| 步骤一 | 部署Elasticsearch集群 |
| 步骤二 |
原创
2024-05-07 10:09:37
76阅读
前言ZooKeeper 是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。ZooKeeper功能很强大，但是在分布式项目中也会存在单点失败问题，所以为了实现服务的高可用，ZooKeeper的集群也是必不可少的。集群架构为了保证高可用，最好是以集群形
转载
2024-02-14 22:25:44
168阅读
第一章 ELK简介及作用1.为什么用到ELK：一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统是一个分布式部
转载
2024-01-26 06:58:33
120阅读
Kubernetes 日常巡检脚本分享在企业级环境中，确保 Kubernetes（k8s）集群的稳定运行至关重要。这篇文章我将用到我在公司初期搭建k8s集群巡检的一个 Bash 脚本，涵盖节点状态、Pod 状态、资源使用情况、事件检查等多个方面。通过定期运行此脚本，可以及时发现并处理潜在的问题，保障集群的健康。（不建议直接复制粘贴！！！！）脚本代码[root@master scripts-shel
一 、ELK 简介ELK 分为三部分组成： elasticsearch、logstach、kibanaelasticsearch: elasticsearch是个分布式搜索和分析引擎，能对大容量的数据进行接近实时的存储、搜索和分析操作logstash :数据收集引擎支持动态从各种数据源收集数据，并对数据进行过滤、分析丰富的统一格式等操作，然后存储到指定位置，这里将数据发送给elasticsearc
转载
2024-02-13 21:28:36
111阅读
# Hadoop 备份与恢复方案
在现代大数据处理环境中，确保数据安全与可恢复性至关重要。本文将带领你了解如何在Hadoop环境中设计一个有效的备份和恢复方案。我们将通过表格展示整个流程，并详细解释每一步所需的代码和操作。
## 备份与恢复流程概述
下面是我们的备份和恢复流程的步骤：
| 步骤 | 描述 |
|------|-------
一、单机备份/恢复MongoDB的逻辑备份/恢复1、备份步骤1）登录单机实例，将数据库锁定db.fsyncLock()2）在操作系统通过mongodump备份数据3）解除锁定db.fsyncUnlock()2、恢复步骤使用mongorestore将数据恢复MongoDB的物理备份/恢复1、备份步骤1）登录单机实例，将数据库锁定或者直接停机db.fsyncLock()2）将目录下的所有文件直接复制出
原创
2021-04-10 19:15:27
774阅读
T+应急备份和恢复数据方法汇总T+应急备份和恢复数据方法汇总对于企业系统管理员来讲，定时地将企业数据备份出来存储到不同的介质上(如常见的光盘、网络磁盘等等)，对数据的安全性是非常重要的。如果企业由于不可预知的原因(如地震、火灾、计算机病毒、人为的误操作等等)造成数据损失或丢失，需要对数据进行恢复，此时备份数据就可以将企业的损失降到最小。 一、正常备份和恢复适用于可以正常登陆软件并且能正常
一、dits和fsimage 首先要提到两个文件edits和fsimage，下面来说说他们是做什么的。集群中的名称节点（NameNode）会把文件系统的变化以追加保存到日志文件edits中。当名称节点（NameNode）启动时，会从镜像文件 fsimage 中读取HDFS的状态，并且把edits文件中记录的操作应用到fsimage，也就
转载
2023-11-18 13:52:14
96阅读
# MySQL 备份和恢复方案实现方法
## 一、流程图
```mermaid
flowchart TD
A(开始) --> B(备份数据库)
B --> C(恢复数据库)
C --> D(结束)
```
## 二、备份和恢复方案步骤
| 步骤 | 操作 |
|-------|-------|
| 1 | 备份数据库 |
| 2 | 恢复数据库 |
原创
2024-04-04 03:51:52
52阅读
文章目录一、复制虚拟机二、修改主机名和主机列表三、配置免密登录四、配置elasticsearch集群 一、复制虚拟机 首先复制已经搭好的ELK虚拟机： 右击已经搭好的虚拟机，选择复制，重命名复制的虚拟机名，将最都一个重新初始化所有网卡的MAC地址勾选中，这里我们将复制两个虚拟机。 复制ok后，对复制的两个虚拟机进行修改。首先是地址，这里我最初的虚拟机地址:192.168.56.111，另外两个
转载
2024-03-18 08:24:30
51阅读
在公司中备份的策略并不是千篇一律的，而是根据每个企业 的实际生产环境与业务需求制定合适的备份策略。无论是选择完全备份还是增量备份，都需要考虑它们的优缺点，是否适合当前的生产环境。同时为了保证恢复的完整性，建议开启二进制日志功能，二进制日志文件给恢复工作带来了很大的灵活性，可以基于时间点或位置进行恢复，考虑到数据库性能，可以将二进制日志文件保存在其他安全的硬盘中。在进行热备时，备份操作和应用服务在同
转载
2023-08-10 19:52:44
147阅读
一、相关概念1.备份目的防止硬件故障、软件故障、自然灾害、黑客攻击、误操作、测试场景等导致的数据丢失；2.注意要点最多能容忍丢失多少数据；恢复数据需要在多长时间内完成；需要恢复哪些数据；3.还原要点做还原测试，用于测试备份的可用性；4.备份类型1）完全备份，部分备份完全备份：备份整个数据集；部分备份：只备份数据子集，如部分库或表；2）完全备份、增量备份、差异备份完全备份：备份整个数据集；增量备份：
转载
2023-08-11 20:41:04
55阅读
1. 前言HDFS包含两种角色：数据节点(datanode)和名字节点(namenode)，名字节点只有一个，数据节点最多支持2000个。HDFS可以确保在硬件失效情况下数据存储的可靠性。常见的三种失败：名字节点失效, 数据节点失效和网络分割(network partitions)。HDFS将每个文件存储成block序列，除了最后一个block，所有的block都是同样的大小。文件的所有
转载
2024-03-16 09:24:10
46阅读
当主库发生误操作时，只需要恢复备库上的快照，然后再根据binlog执行point-in-...
转载
2021-09-29 16:52:35
252阅读
MySQL常见备份方案有以下三种： mysqldump + binlog lvm + binlog xtrabackup 本例为方便演示，数据库里面数据为空。
推荐
原创
2015-10-01 17:55:39
6852阅读
点赞
2评论
目录：一、高可用集群的定义 二、高可用集群的衡量标准 三、高可用集群的层次结构 四、高可用集群的分类 五、高可用集群常用软件 六、共享存储 七、集群文件系统与集群LVM 八、高可用集群的工作原理一、高可用集群的定义 高可用集群，英文原文为High Availability Cluster，简称HACluster，简单的说，集群（cluster）就是一组计算机，它们作为一个整体向用户
HBase Backup/Restore 方案本文开始我们会介绍HBase关于Backup/Restore的方案，虽然HBase2.0的release
版本里面并不会带有该功能，但是我们ApsaraDB for
HBase会对应的提供该功能。我们经常会听到“某某某DBA误操作把整张表删了”，“某某磁盘故障，造成数据库的某个库的数据全部损坏了”。这种由于外在和内在的原因造成的数据不可靠，最终会给
原创
2021-04-01 20:19:06
1289阅读
mysql备份技巧分享
转载
2021-07-28 11:23:27
467阅读
