背景对于某些应用，需要用于动态扩展的指标不仅仅是 CPU/Mem，有时候还需要用到自定义度量，比如 http_requests。在 OpenShift 4 目前的版本(OCP 4.3)里，exposing custom application metrics for HPA 功能还属于 Technology Preview feature only。但这不妨碍我们功能上的实现，我们可以直接利用 O
转载
2024-04-29 08:25:42
75阅读
前提：helm 部署的vault 1，根据实际条件修改pvc大小，指定sc等 2，修改模式 ，standalone改为false，ha改为true，raft.enabled 改为true 3，修改config段配置 点击查看代码 config：| ui = true *** storage "raf
原创
2022-09-17 01:24:19
614阅读
当前GaussDBT支持一主多备部署和一主多备多级联备部署。其中备机和级联备机的个数之和最多支持9个。本文为一主一备环境。GaussDBT中的Primary角色是主备关系中的主节点，即业务的直接处理节点。它负责与备机通信，向备机同步日志。Standby角色是主备关系中的备节点，为只读状态。它主要用于接收主机日志，对主机业务日志进行回放，在主机出现异常或者异常退出的情况下可切换成主机保证业务正常进行
原创
2020-03-13 12:28:51
1964阅读
一：HDFS系统架构 （一）利用secondary node备份实现数据可靠性 （二）问题：NameNode的可用性不高，当NameNode节点宕机，则服务终止 二：HA架构 提高NameNode服务的可用性 架构中至少有两个NameNode节点 （此处以两个NameNode举例） （
转载
2020-02-28 16:21:00
267阅读
2评论
Prometheus的告警恢复和修改 operator版Prometheus默认的 Prometheus.ymlgpt回答告警问题如果您没有收到Prometheus的告警恢复通知，请检查以下几个可能的原因： 检查Alertmanager的配置文件中的group_wait参数是否正确设置。group_wait参数定义了Alertmanager在发送告警恢复通知之前等待的时间，以便其他相关告警的解决状
转载
2024-08-06 13:35:09
33阅读
A/A模式HA关键点：1、A/A failover 利用了多模式，在不同的物理设备上active不同的虚墙以达到双活目的2、主要在primary节点做配置，secondary节点会从primary节点同步配置，包含system和context3、secondary节点配置任务仅包括：多模式启用、物理接口启用、failover基本配置（启用failover、指定为secondary节点、指定并命名f
原创
2014-05-27 12:52:20
421阅读
群集（Cluster）这一词估计大家不陌生，今天我要说的就是linux系统中的负载均衡群集lvs，他的主要作用就是解决高并发访问，高连接数的。 lvs的组成：负载调度器：负责响应并分发来自客户机的请求，是访问整个群集的入口节点：群集里面的服务器共享存储：有了共享存储才可以实现管理方便统一 lvs的工作模式：NTT模式：调度器既是入口也为出口，调度器作为网关，连接内外
原创
2015-12-20 10:26:06
781阅读
原理1、如何保证两个NameNode之间的数据同步？active namenode记录日志的时候，需要往外部存储系统（qjounal）中记录一份，然后standby NameNode从qjounal中读取数据，然后进行checkpoint（也就是不再需要sandary NameNode）。这个qjounal是一个分布式的外部存储系统，它借助于zookeeper框架实现。里面的选举也是利用了zo
一、概述之前的博客写了搭建hadoop集群环境，今天写一写搭建高可用（HA）环境。Hadoop-HA模式大致分为两个(个人在学习中的理解)：namenode 高可用yarn 高可用1、Namenode HANamenode在HDFS中是一个非常重要的组件，相当于HDFS文件系统的心脏，在显示分布式集群环境中，还是会有可能出现Namenode的崩溃或各种意外。所以，高可用模式就体现出作用了。 nam
转载
2023-07-25 00:01:00
173阅读
一. 掌握对象存储的特点及使用场景#RadosGW 存储特点通过对象存储网关将数据存储为对象，每个对象除了包含数据，还包含数据自身的元数据。对象通过 Object ID 来检索，无法通过普通文件系统的挂载方式通过文件路径加文件名称操作来直接访问对象，只能通过 API 来访问，或者第三方客户端（实际上也是对 API 的封装）。对象的存储不是垂直的目录树结构，而是存储在扁平的命名空间中，Amazon
转载
2024-08-07 13:16:32
180阅读
部署前提：已经安装好了kubernetes的集群，版本是1.11.1，是用kubeadm部署的。2台虚拟机：master：172.17.1.36 node1：172.17.1.40prometheus 是kubernetes 监控，可以监控k8s的核心指标以及自定义指标起官方地址：https://github.com/kubernetes/kubernete
转载
2024-02-22 13:16:07
397阅读
在Kubernetes（K8S）环境中部署Hadoop的高可用（HA）模式是一个常见的任务，可以确保Hadoop集群的稳定性和可靠性。在本文中，我将向您展示如何在K8S环境中部署Hadoop的HA模式，并为您提供详细的步骤和代码示例。
整件事情的流程可以分为以下步骤：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 创建K8S集群 |
| 2 | 部署Hadoop集群 |
原创
2024-05-22 09:58:36
69阅读
Hadoop HA 部署是确保大数据处理系统高可用性的重要步骤。在这篇博文中，我将记录下整个部署过程，从环境准备到优化技巧，涵盖每一个环节，确保最终在生产环境中顺利运行。
## 环境准备
在开始部署之前，我们需要确保所有的前置依赖都已安装。以下是必要的前置依赖及其版本兼容性矩阵。
| 组件 | 版本 | 兼容性说明 |
|------
问题导读1.Spark在YARN中有几种模式？
2.Yarn Cluster模式，Driver程序在YARN中运行，应用的运行结果在什么地方可以查看？
3.由client向ResourceManager提交请求，并上传jar到HDFS上包含哪些步骤？
4.传递给app的参数应该通过什么来指定？
5.什么模式下最后将结果输出到terminal中？ Spark在YARN中有yarn-clu
转载
2023-07-12 10:49:08
77阅读
Prometheus
原创
2020-12-04 17:53:19
630阅读
进入约定目录
cd /opt
下载安装包
wget https://github.com/prometheus/prometheus/releases/download/v2.12.0/prometheus-2.12.0.linux-amd64.tar.gz
配置环境变量
vim /etc/profile
PATH=$PATH:/opt/prometheus-2.12.0.linux-a
原创
2021-09-05 11:02:28
177阅读
Prometheus 介绍 Prometheus（普罗米修斯）是一个最初在SoundCloud上构建的监控系统。自2012年成为社区开源项目，拥有非常活跃的开发人员和用户社区。为强调开源及独立维护，Prometheus于2016年加入云原生云计算基金会（CNCF），成为继Kubernetes之后的第 ...
转载
2021-07-31 19:25:00
320阅读
2评论
# 从零开始部署Prometheus
如果你正在使用Kubernetes（K8S）作为你的容器管理平台，并且想要部署Prometheus监控系统来监控你的应用程序，那么你来对地方了！本教程将带你一步一步完成部署Prometheus的过程。首先，让我们看一下整个部署过程的步骤：
| 步骤 | 操作 |
| --- | --- |
| 1 | 创建Prometheus命名空间 |
| 2 | 部署
原创
2024-05-20 11:42:39
112阅读
安装node-exporter组件，在k8s集群的master1节点操作 cat >node-export.yaml <<EOF
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: node-exporter
namespace: monitor-sa
labels:
name: node-exporte
转载
2024-07-16 15:09:08
87阅读
###################HDFS High Availability Using the Quorum Journal Manager################################ 规划集群 db01 db02 db03 db04 db05 namenode name
原创
2021-08-07 10:49:55
943阅读
