多机部署Flink standalone 集群部署前要注意的要点每台机器上配置好java以及JAVA_HOME环境变量最好挑选一台机器,和其他机器ssh 打通每台机器上部署的Flink binary的目录要保证是同一个目录如果需要用hdfs,需要配置HADOOP_CONF_DIR环境变量配置上配置JobManager机器:masterTaskManager机器:node1,node2,node3修改Flink binary目录的conf子目录中的masters和slaves两个文件            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-06-04 19:11:25
                            
                                635阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            【云原生Docker】14-Dokcer Harbor高可用部署 文章目录【云原生Docker】14-Dokcer Harbor高可用部署前言Harbor高可用方案单主复制双主复制多Harbor共享后端存储Harbor高可用部署方案说明环境说明部署步骤安装nfs安装redis和PostgreSQL安装harbor配置nginx访问测试总结 前言 在上一篇【云原生|Docker】12-Docker            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-08-01 16:21:57
                            
                                115阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
                    本篇博客,Alice为大家带来的是Spark的HA高可用环境搭建的教程。原理        Spark Standalone集群是Master-Slaves架构的集群模式,和大部分的Master-Slaves结构集群一...            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-06-01 17:48:52
                            
                                728阅读
                            
                                                                             
                 
                
                             
         
            
            
            
                    本篇博客,Alice为大家带来的是Spark的HA高可用环境搭建的教程。
原理        Spark Standalone集群是Master-Slaves架构的集群模式,和大部分的Master-Slaves结构集群一            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2022-04-01 13:45:00
                            
                                450阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            此博客,是根据 Rancher 官网文档,使用 RKE 测试部署最新发布版 Rancher v2.5.9 高可用集群的总结文档。一 了解 RancherRancher 是为使用容器的公司打造的容器管理平台。Ranhcer 简化了使用 Kubernetes 的流程,开发者可以随处运行 Kubernetes(Run Kubernetes Everywhere),满足 IT 需求规范,赋能 DevOps            
                
         
            
            
            
            参考文档:Install-guide:https://docs.openstack.org/install-guide/OpenStack High Availability Guide:https://docs.openstack.org/ha-guide/index.htmlCeph: http://docs.ceph.com/docs/master/start/intro/二十.N            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-02-14 22:44:02
                            
                                157阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            HA 即 (high available)高可用,又被叫做双机热备,用于关键性业务。 简单理解就是,有两台机器A和B,正常是A提供服务,B待命闲置,当A宕机或服务宕掉,会切换至B机器继续提供服务。常用实现高可用的开源软件有heartbeat和keepalived,其中keepalived有负载均衡的功能。 下面我们使用heartbeat来做HA集群,并且把nginx服务作为HA对应的服务            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2015-08-29 13:26:13
                            
                                2014阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            安装Heartbeat前的准备  
Heartbeat集群必须的硬件
从下图看出,构建一个Heartbeat集群系统必须的硬件设备有:
节点服务器;
网络和网卡;
共享磁盘。
节点服务器
安装Heartbeat至少需要两台主机,并且对主机的要求不高,普通的PC服务器即可满足要求。当然,也可以在虚拟机上安装Heartbeat,现在Heartbeat可以很好地运行在Linux系统下,很多            
                
                    
                        
                                                            
                                                                        
                                                                                        翻译
                                                                                            精选
                                                        
                            2013-03-29 14:52:42
                            
                                547阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            HA 即 (high available)高可用,又被叫做双机热备,用于关键性业务。 简单理解就是,有两台机器A和B,正常是A提供服务,B待命闲置,当A宕机或服务宕掉,会切换至B机器继续提供服务。常用实现高可用的开源软件有heartbeat和keepalived,其中keepalived有负载均衡的功能。流动IP又叫VIP,用来提供对外的ip,主启动时候在主上, 当机的时候就在从上。网卡可以绑定多            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2016-05-28 15:39:37
                            
                                920阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            温故:最近有点忙,一直在忙着搬家所以没有更新文章,今天刚好有时间所以和大家聊聊。前面的日子里一直和大家分享网络方面的知识,基本上把网络的发展历程及现状都和大家介绍了一遍,希望大家在闲暇的时间多去看看。看我的也好,别人的也罢,总之多看点总没有坏处。知新: 一、什么是高可用今天又是一个夜班,也不知道写点啥,所以就打算和大家聊聊高可用,即HA.说起这个概念大家应该不会陌生,毕竟只要是干运维的基            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2022-07-03 00:14:43
                            
                                178阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            Spark高可用部署1、高可用部署说明1 、基于文件系统的单点恢复(Single-Node Recovery with Local File System)。2、基于zookeeper的Standby Masters(Standby Masters with ZooKeeper)。2、基于zookeeper的Spark HA高可用集群部署2.1 停止Spark进程,启动zookeeper进程。2            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-12-27 10:49:08
                            
                                321阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            规划:
    
        
             
            vCenter
            esxi01
            esxi02
            esxi03
        
        
            IP
            192.168.20.1
            19            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2013-01-30 13:02:11
                            
                                3124阅读
                            
                                                        
                                点赞
                            
                                                                                    
                                2评论
                            
                                                 
                 
                
                             
         
            
            
            
            Oracle的三种高可用集群方案1 RAC(Real Application Clusters)多个Oracle服务器组成一个共享的Cache,而这些Oracle服务器共享一个基于网络的存储。这个系统可以容忍单机/或是多机失败。不过系统内部的多个节点需要高速网络互连,基本上也就是要全部东西放在在一个机房内,或者说一个数据中心内。如果机房出故障,比如网络不通,那就坏了。所以仅仅用RAC还是满足不了一            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-07-14 06:44:29
                            
                                62阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            spark支持多种部署方案,包括spark自带的standalone资源调度模式(StandAlone);运行在hadoop的yarn资源调度框架中(SparkOnYARN);local本地模式;可以运行在Mesos资源调度框架上;还可以运行在k8s(Kubernetes)上。今天对前三个(standalone、sparkonyarn、local进行阐述)local模式1)运行在本地,利用本地资源            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-01 13:35:28
                            
                                110阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            # Spark Master 高可用部署
Apache Spark 是一个快速、大规模的开源集群计算框架,用于处理大数据。为了确保 Spark 集群的稳定性和可靠性,特别是在生产环境中,部署高可用(HA)模式是非常必要的。本文将讨论如何在 Spark 中设立高可用 master,并提供必要的代码示例,以及状态图和关系图的可视化展示。
## Spark HA 模式概述
在 Spark 中,高可            
                
         
            
            
            
            SparkStreaming-高可用-HA-Master            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-07-27 16:24:39
                            
                                211阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            使用心跳实现高可用HA的配置过程详解一,写在前面HA即(高可用)高可用,又被叫做双机热备,用于关键性业务。简单理解就是,有2台机器甲和B,正常是甲提供服务,B待命闲置,当甲宕机或服务宕掉,会切换至乙机器继续提供服务。常见的实现高可用的开源软件有心跳和KEEPALIVED。这样,一台网络服务器一天24小时提供的网络服务,难免会存在网络服务挂掉或服务器宕机宕机的情况,那么用户就访问不了服务了,这当然不            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-02-15 19:45:31
                            
                                31阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            1 . k8s高可用结合负载均衡介绍配置高可用(HA)Kubernetes集群,有以下两种可选的etcd拓扑:集群master节点与etcd节点共存,etcd也运行在控制平面节点上 使用外部etcd节点,etcd节点与master在不同节点上运行在前面k8s学习中,围绕一个k8s的master节点操作,当此节点dowm掉后k8s将无法进行后续的部署管理工作。此时通过haproxy配置k8s mas            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-01-30 07:33:31
                            
                                145阅读
                            
                                                                             
                 
                
                                
                    