一 、ELK 简介ELK 分为三部分组成： elasticsearch、logstach、kibanaelasticsearch: elasticsearch是个分布式搜索和分析引擎，能对大容量的数据进行接近实时的存储、搜索和分析操作logstash :数据收集引擎支持动态从各种数据源收集数据，并对数据进行过滤、分析丰富的统一格式等操作，然后存储到指定位置，这里将数据发送给elasticsearc
转载
2024-02-13 21:28:36
111阅读
今天以DR模式的LVS群集为基础，增加了一台从负载调度器，使用keepalived来实现主、备调度服务器的热备，从而构架具有负载均衡、高可用两种能力的LVS网站群集平台。网站拓扑架构图系统环境主机操作系统IP地址DR1主调度服务器：CentOS 7.0 x86_64192.168.100.25DR2备调度服务器：CentOS 7.0 x86_64192.168.100.26web1节点服务器：Ce
转载
2024-10-30 20:03:31
80阅读
前言ZooKeeper 是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。ZooKeeper功能很强大，但是在分布式项目中也会存在单点失败问题，所以为了实现服务的高可用，ZooKeeper的集群也是必不可少的。集群架构为了保证高可用，最好是以集群形
转载
2024-02-14 22:25:44
168阅读
第一章 ELK简介及作用1.为什么用到ELK：一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统是一个分布式部
转载
2024-01-26 06:58:33
120阅读
ELK集群是指Elasticsearch、Logstash和Kibana的组合，用于实时日志分析和可视化。高可用方案是指保证系统在出现故障时仍能正常运行的能力。下面我将详细介绍如何实现ELK集群的高可用方案。
首先，让我们通过以下步骤来实现ELK集群的高可用方案：
| 步骤 | 操作 |
|-------|------|
| 步骤一 | 部署Elasticsearch集群 |
| 步骤二 |
原创
2024-05-07 10:09:37
76阅读
发现了一篇不错的关于ELK安装部署的文章，这里做个记录。一、什么是ELKELK是Elasticsearch + Logstash + Kibana 这种架构的简写。这是一种日志分平台析的架构。从前我们用shell三剑客(grep, sed, awk)来分析日志, 虽然也能对付大多数场景，但当日志量大，分析频繁，并且使用者可能不会shell三剑客的情况下， 配置方便，使用简单，并且分析结果更加直观的
转载
2023-12-09 19:14:56
224阅读
首先需要部署多个master，每个master节点需要部署keepalived，keepalived可以检测master节点状态，并且提供虚拟ip配置，当一个master出现故障这个虚拟ip会飘到其他的master节点。每个master节点还需要部署haproxy，haproxy是一个负载均衡器，对于master请求做负载均衡。
转载
2024-02-26 06:33:05
113阅读
# Docker 安装 ELK 高可用集群教程
## 整体流程
为了实现 ELK 高可用集群，我们需要通过 Docker 运行 Elasticsearch、Logstash 和 Kibana，并使用 Docker Compose 管理容器。以下是整个过程的步骤：
```mermaid
erDiagram
Docker --> Elasticsearch
Docker -->
原创
2024-05-11 05:34:52
97阅读
一、主机规划IP主机名安装包10.207.228.64doris-1FE、BE、Broker10.207.228.194doris-2FE、BE、Broker10.207.228.197doris-3FE、BE、Broker二、JDK 部署(1) 下载安装包jdk-8u301-linux-x64.tar.gz(2) 解压tar -xf jdk-8u301-linux-x64.tar.gz -C /
转载
2023-07-14 13:58:12
210阅读
系列文章目录 Mysql集群及高可用-Mysql高可用MHA mysql集群及高可用系列文章目录一、Mysql集群-高可用MHA二、实验环境准备三、Gtid模式一主两从四、MHA配置五、配置主配置文件六、高可用手动切换6.1状态一（master在线状态）6.2状态二（master挂掉状态）七、自动切换八、书写脚本让perl程序一直监控数据库实例 一、Mysql集群-高可用MHA主复制是内部高可
转载
2023-07-27 21:24:59
356阅读
1 . k8s高可用结合负载均衡介绍配置高可用（HA）Kubernetes集群，有以下两种可选的etcd拓扑：集群master节点与etcd节点共存，etcd也运行在控制平面节点上 使用外部etcd节点，etcd节点与master在不同节点上运行在前面k8s学习中，围绕一个k8s的master节点操作，当此节点dowm掉后k8s将无法进行后续的部署管理工作。此时通过haproxy配置k8s mas
转载
2024-01-30 07:33:31
145阅读
ELK 是指 Elasticsearch、Logstash 和 Kibana，是一个流行的开源数据分析和可视化平台。在应用性能监测和优化方面，ELK 可以用于实时监测、分析和优化应用程序的性能。下面是一个使用 ELK 进行应用性能监测和优化的基本项目： 1.构建应用日志收集系统使用 Logstash 构建一个应用日
转载
2024-07-05 06:43:22
94阅读
Atang群集软件LinuxApacheMySQLPHP)详细配置Atang群集软件(Linux+Apache+MySQL+PHP)详细配置需求为：针对网站的LAMP环境配置双机热备，客户端可用通过IP地址54访问到LAMP的各项服务。Linux采用Red Hat Enterprise Linux 5.4 i386版本。安装前请再次阅读《第一章 安装篇》中的《安装前的准备》小节。1)、配置前的检测
0 版本说明因为ELK从5.0开始只支持jdk 1.8，但是项目中使用的是JDK 1.7，所以采用的是5.0前的最新版本。1 Elasticsearch ： 2.4.4
2 Logstash：2.4.1
3 kibana：4.6.4 操作环境： 1 新建用户和用户组注意：elasticsearch不能以root运行的问题 ，所以建议单独建立一个用户来运行elasti
转载
2024-07-04 21:14:54
255阅读
1、集群特点 1>高性能 提高处理性能的能力一直是集群技术研究的一个重要目标之一 2>低成本 在达到同样性能的条件下，采用计算机集群比采用同等运算能力的大型计算机具有更高的性价比 3>高可扩展性 通常情况下，用户若想扩展系统能力，不得不购买更高性能的服务器，才能获得额外所需的CPU 和存储器。如果采用集群技术，则只需要将新的单个服务器加入现有集群中即可，对
转载
2024-02-13 19:53:58
70阅读
一、在生产环境中，我们k8s集群需要多master实现高可用，所以下面介绍如何通过kubeadm部署k8s高可用集群（建议生产环境master至少3个以上,如果没有下载好安装包，需要连接外网）二、master部署：1、三台maser节点上部署etcd集群2、使用VIP进行kubeadm初始化master注意：本次是通过物理服务器进行部署，如果使用阿里云服务器部署，由于阿里云服务器不支持VIP，可以
转载
2023-11-12 23:04:40
314阅读
一．高可用集群概念：高可用集群High Availability Cluster
集群（cluster）就是一组计算机，向用户提供一组网络资源。单个的计算机称为集群的节点（node）。高可用集群是为了使集群整体服务尽可能可用，减少因软硬件出错带来的损失。如果某个节点失效，备援节点将会接管它的职责
二．高可用集群的层次结构
HA分为三个层次，Me
转载
2024-08-16 20:18:34
75阅读
Redis中为了实现高可用（High Availability，简称HA），采用了如下两个方式：主从复制数据采用哨兵监控数据节点的运行情况，一旦主节点出现问题由从节点顶上继续进行服务一、主从复制redis中主从节点复制数据有全量复制和部分复制之分。旧版本全量复制功能的实现全量复制使用snyc命令来实现，其流程是：从服务器向主服务器发送sync命令。主服务器在收到sync命令之后，调用bgsave命
转载
2024-05-30 09:28:33
108阅读
大数据之HDFS-HA高可用集群搭建1）所谓HA（High Availablity），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 4）NameNode主要在以下两个方面影响HDFS集群 NameNode
转载
2023-12-24 13:59:43
168阅读
目录一、规划主机规划系统拓扑Vmware 虚拟机网络配置虚拟网络设置ha nodecontroller + network nodecompute nodeceph node整体规划网卡配置参考升级内核配置firewalld、selinux、ntp时间同步、hostname、hosts文件配置集群 ssh 信任关系优化 ssh 登陆速度内核参数优化安装基础软件包二、基础服务MariaDB集群安装与
转载
2023-07-06 09:42:03
1050阅读
点赞
