OpenResty搭建高性能服务端 Socket编程Linux Socket编程领域为了处理大量连接请求场景，需要使用非阻塞I/O和复用，select、poll、epoll是Linux API提供的I/O复用方式，自从Linux2.6中加入了epoll之后，高性能服务器领域得到广泛的应用，Nignx就是使用epoll来实现I/O复用支持高并发。对于“高性能”服务端而言，我们所关注的并不是
1.实现HA：（1）hdfs;(2)yarn2.实现hdfs高可用，需要消除namenode单节点故障（通过配置多个namenode实现）3.hdfs-HA的工作机制：（1）元数据管理方式 内存中各自保存一份元数据； &nb
转载
2023-12-25 13:52:18
75阅读
一、搭建规划： hadoop 高可用集群的搭建依赖于 zookeeper，所以选取三台当做 zookeeper 集群 ，这里总共准备了八台主机(可按实际规划，不一定要这么多台)，分别是 hadoop01，hadoop02，hadoop03，hadoop04， hadoop05，zk01，zk02，zk03。其中 hadoop01 和 hadoop02 做 namenode 的主备切换，hadoop
转载
2023-07-14 15:21:59
512阅读
1.1、Keepalived简介 Keepalived是Linux下一个轻量级别的高可用解决方案。高可用(High Avalilability,HA)，其实两种不同的含义：广义来讲，是指整个系统的高可用行，狭义的来讲就是之主机的冗余和接管。它与HeartBeat RoseHA 实现相同类似的功能，都可以实现服务或者网络的高可用，但是又有差别，HeartBeat是一个专业的、功能完善的高可用软件，
转载
2024-01-28 23:09:16
62阅读
操作系统： Linux服务器： tomcat7nginx版本：1.6.0 nginx是一个高性能的http和反向代理服务器，因其稳定性、丰富的功能性、以及低能耗被广泛采用。本文将示范在fedora16上配置安装nginx，并且整合tomcat做服务器负载均衡配置。Nginx 安装从官网下载Nginx包 
转载
2024-04-07 11:02:43
53阅读
高可用性（High Availability）指的是通过尽量缩短因日常维护操作（计划）和突发的系统崩溃（非计划）所导致的停机时间，以提高系统和应用的可用性。如何实现高可用？避免导致系统不可用的因素（服务器磁盘空间耗尽、性能糟糕的SQL、表结构和索引没有优化、主从数据不一致、人为的操作失误等等），减少系统不可用的时间；
建立完善的监控及报警系统；定时的对备份数据进行恢复测试；对不需要的数据进行
转载
2023-06-07 21:33:56
162阅读
mysql 高可用方案梳理
转载
2023-05-26 01:36:25
159阅读
CDH版本HADOOP2.6.0高可用集群搭建一、安装包准备hadoop-2.6.0-cdh5.16.2.tar jdk-8u45-linux-x64 zookeeper-3.4.5-cdh5.16.2.tar二、集群规划hadoop01 hadoop02 hadoop03三、搭建过程1、3台虚拟机配置，以第一台为例**1.1 ip设置[root@hadoop01 ~]# vi /etc/sysc
转载
2023-09-03 16:25:18
94阅读
1.HBase简介 HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成
转载
2024-05-17 10:55:42
91阅读
mysql调优和数据库高可用集群性能调优1.升级硬件（cpu，内存，存储） 2.优化数据库服务运行参数 3.让程序员优化访问数据的sql命令 4.网络带宽 5.优化服务架构（是否由数据传输瓶颈）优化数据库服务运行参数:show variables ； 显示所有变量
show variables like “%%”； 模糊匹配
set global 变量=值 临时
转载
2023-09-30 10:34:19
77阅读
目录0. 相关文章链接1. 原理2. 操作3. 测试1. 原理 从之前的架构中我们可以很明显的发现 JobManager 有明显的单点问题(SPOF，single point of failure)。JobManager 肩负着任务调度以及资源分配，一旦 JobManager 出现意外，其后果可想而知。&
转载
2024-05-08 16:29:20
129阅读
1. 概述我们在考虑MySQL数据库的高可用的架构时，主要要考虑如下几方面：1.1 如果数据库发生了宕机或者意外中断等故障，能尽快恢复数据库的可用性，尽可能的减少停机时间，保证业务不会因为数据库的故障而中断。1.2 用作备份、只读副本等功能的非主节点的数据应该和主节点的数据实时或者最终保持一致。1.3 当业务发生数据库切换时，切换前后的数据库内容应当一致，不会因为数据缺失或者数据不一致而影响业务。
转载
2023-08-10 14:15:08
138阅读
随着人们对数据一致性的要求不断的提高，越来越多的方法被尝试用来解决分布式数据一致性的问题，如MySQL自身的优化、MySQL集群架构的优化、Paxos、Raft、2PC算法的引入等等，本文介绍MySQL数据库的几种常见高可用方案。 一、概述我们在考虑MySQL数据库的高可用的架构时，主要要考虑如下几方面：如果数据库发生了宕机或者意外中断等故障，能尽快恢复数据库的可用性，尽可能的减少停机时
转载
2023-09-04 12:47:38
29阅读
一、工作原理keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（该路由器所在局域网内其他机器的默认路由为该vi
转载
2024-02-18 08:14:04
41阅读
写在前面一：本文总结“Hadoop生态系统”中的其中一员——Apache Hive写在前面二：环境说明：一、什么是Apache Hive摘自官网： 数据仓库基础构架。它提供了一系列的工具，可以用来进行
数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop中的大规模数据的机制。Hive 定义了简单的类SQL查询语言，称为HQL ，它允许熟悉 SQL 的用户查
转载
2024-07-13 09:02:58
90阅读
！！！！ 参考的比较多，自己想法少 大神总结的比较好 ====》http://www.ha97.com/5646.html特性 LVsNginxHaproxy工作层四层（传输层）七层（应用层）四层、七层应用范围基于tcp和udp传输的协议都可以http应用相关，mailhttp、tcp应用，如mysql流量及网络依赖性1.无流量，LVS只分发请求，而流量并不从它本身出去，这点保证了均衡器
Hadoop是一个用于处理大规模数据的开源框架，它的高可用配置对于保证系统的稳定性和可靠性非常重要。对于刚入行的开发者来说，实现Hadoop高可用配置可能会有些困惑。在本文中，我将向你介绍如何实现Hadoop高可用配置的步骤，并提供相应的代码示例。
## Hadoop高可用配置流程
首先，让我们来看一下实现Hadoop高可用配置的整个流程，如下所示：
```mermaid
flowchart
原创
2023-12-27 09:16:09
52阅读
一、HDFS的高可用性1.概述 本指南提供了一个HDFS的高可用性（HA）功能的概述，以及如何配置和管理HDFS高可用性(HA)集群。本文档假定读者具有对HDFS集群的组件和节点类型具有一定理解。有关详情，请参阅Apache的HDFS的架构指南。http://hadoop.apache.org/docs
## MySQL高可用配置
### 1. 引言
MySQL是一种常用的关系型数据库管理系统，被广泛应用于各种规模的应用程序中。在高负载和高可用的场景下，MySQL的可用性和性能是非常关键的。为了保证MySQL的高可用性，我们需要进行适当的配置和管理。
本文将介绍一种常见的MySQL高可用配置方案，即使用主从复制来实现MySQL的故障恢复和负载均衡。我们将通过示例代码和流程图来说明配置的步骤和
原创
2023-08-15 18:16:30
49阅读
MySQL中存储着Hive所有表格的元数据信息，一旦MySQL中的数据丢失或损坏，会对整个数据仓库系统造
原创
2023-02-01 09:53:58
76阅读
