简单介绍l 设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；l 在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务l 重点概念：文件切块，副本存放，元数据HDFS概念和特性首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来
转载
2023-12-24 07:36:51
83阅读
在本系列的第一篇文章中，我们主要介绍了大数据治理的基本概念和统一流程参考模型，并阐述了该模型的第一步“明确元数据管理策略”和第二步“元数据集成体系结构” 的六种示例等内容。大数据治理统一流程参考模型的第二步是“元数据集成体系结构”，具体包括元模型、元-元模型、公共仓库元模型（CWM）、CWM 发展史、OMG 的模型驱动体系结构（Model Driven Architecture，MDA）本文将对元
转载
2023-12-17 19:27:17
172阅读
[root@controller02 ~]# mysql -uroot -pZx***** -e 'show databases'
+--------------------+
| Database |
+--------------------+
| cluster_test | √
| information_schema |
| mysql
转载
2024-08-06 21:29:50
74阅读
一、hdfs架构简介 文件系统：由三部分组成与文件管理有关软件、被管理文件以及实施文件管理所需数据结构。 元数据：用于描述要素、数据集或数据集系列的内容、覆盖范围、质量、管理方式、数据的所有者、数据的提供方式
转载
2024-01-08 14:17:51
31阅读
# 系统集群架构方案详解
在当今的软件开发和运维领域，能够设计和实现一个高可用的系统集群架构是非常重要的。这不仅可以提高系统的性能，还可以确保在某部分系统出现故障时，整体服务仍然能够正常运行。本文将向刚入行的小白介绍实现一个系统集群架构方案的基本流程和具体步骤。
## 一、整体流程
我们可以将实现系统集群架构的过程分为以下几个关键步骤：
| 步骤 | 描述
原创
2024-09-23 06:54:38
41阅读
文章开始前首先让我们来了解一下什么是Python。 Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。 重点是，Python 是一种对初学者非常友好的语言，从应用程序开发到文字处理、web甚至是游戏能提供支持，不少人也会将Python作为黑客攻击语言。为何Python会被选用为黑客语言呢？ 1.支持功能强大的黑客攻击模块。如前所述，Python 的优点之一是拥有丰富多样
# 实现企业集群架构方案指南
在现代软件开发中，企业集群架构的实现是为了提高系统的可扩展性、可用性与容错性。接下来，我们将分步骤详细介绍如何设计与实现一个简单的企业集群架构方案，适合那些刚入行的小白开发者。
## 整体流程
为了便于理解，我们将整个实现过程分成几个主要步骤，并以表格的形式展示出来。
| 步骤 | 描述
MHA的组件中主要有两个，一个是Manager节点组件。类似于一个监督者。Node节点组件则是安装于数据库节点，其中一个作为Master。MHA在主节点发生故障时需要进行主节点自动切换，所以必不可少地需要管理员权限。所以多个节点之间需要基于ssh秘钥认证。MHA的主要配置在于manager。准备三台机器统一安装mysql-5.7 (1922.168.6.12,192.168.6.92,192.16
转载
2024-06-03 20:26:13
158阅读
1.前期准备1.1系统和yum源镜像准备需要的条件：① 至少三台刚装上Centos7.0系统的物理机或者虚拟机；② CentOS-7.0-x86_64-bin-DVD1.iso镜像，用于制作本地yum源；注意：本文三台物理机或虚拟机的操作系统镜像是CentOS-7-x86_64-Minimal-1804.iso。用于制作本地yum源的CentOS-7.0-x86_64-bin-DVD1.
转载
2023-08-25 18:02:06
223阅读
目录Kafka系统架构一、Broker 服务器节点概念描述二、Topic 主题|消息类别概念描述说明注意创建流程删除流程三、Partition 分区概念描述路由规则注意图解四、Leader 负责读写的分区概念注意流程五、Follower 同步数据备份概念注意六、Replication 副本概念描述注意七、producer 生产者概念描述注意七、Consumer 消费者概念注意八、Consumer
转载
2024-03-22 14:58:23
56阅读
本文介绍在k8s集群中使用node-exporter、prometheus、grafana对集群进行监控。 其实现原理有点类似ELK、EFK组合。node-exporter组件负责收集节点上的metrics监控数据，并将数据推送给prometheus, prometheus负责存储这些数据，grafana将这些数据通过网页以图形的形式展现给用户。在开始之前有必要了解下Prometheus是什么?
转载
2023-08-04 13:38:22
797阅读
高可用示意图如下：NGINX主从备份
NGINX实现主从备份目前主流方案是Keepalived+Nginx实现双机热备。
Keepalived介绍：
Keepalived是一个基于VRRP协议来实现的服务高可用方案，可以利用其来避免IP单点故障，类似的工具还有heartbeat、corosync、pacemaker。
但是它一般不会单独出现，而是与其它负载均衡技术（如lv
转载
2023-09-04 23:12:03
433阅读
这两天在研究ozone，把hdfs的论文重读了一下，简要梳理了一下hdfs的设计要点，如有问题麻烦指出，记录包括以下几个点。架构数据分布数据一致性元数据服务器本地存储引擎设计取舍1 架构组件架构hdfs作为中心化的分布式存储，主要包含三个组件：前端client、元数据服务器、本地存储引擎。client：提供接口、IO拆分及分发、元数据获取等。元数据服务器(NameNode):存储路由
转载
2023-12-19 05:15:57
113阅读
目录一、Netty架构设计1.1 功能特性1.2 核心组件1.2.1 Bootstrap&ServerBootstrap（启动引导类）1.2.2 EventLoop（事件循环）（1）NioEventLoopGroup（2）NioEventLoop1.2.3 ByteBuf（字节容器）1.2.4 Channel（网络操作抽象类）1.2.5 ChannelHandler（消息处理器）1.2.
转载
2024-01-12 14:58:56
1003阅读
在MySQL数据库中，部署集群架构可以提高数据库的性能和可靠性，确保数据的高可用性。本文将介绍如何通过使用Kubernetes（K8s）来实现MySQL集群架构部署方案，并指导初学者从零开始搭建MySQL集群。
### MySQL集群架构部署方案流程
下表列出了MySQL集群架构部署的步骤：
| 步骤 | 操作 |
| :--: | :--: |
| 1 | 创建Kubernetes集群 |
原创
2024-04-30 12:16:43
105阅读
文章目录1、机器环境2、创建用户3、系统配置免密登录关闭防火墙4、安装java5、安装RocketMQ6、配置RocketMQ集群1、配置第一组broker-a7、启动RocketMQ1、先启动nameServer。2、再启动broker3、启动状态检查4、测试mqadmin管理工具**Topic相关**：**集群相关****Broker相关****消息相关****消费者和消费者组相关**连接相
转载
2023-10-22 20:58:41
13阅读
如何支撑亿级流量的高并发IM架构的理论基础 亿级流量的系统架构的开发实践支撑亿级流量的高并发IM通信的几大集群中，最为核心的是Netty集群、ZooKeeper集群、Redis集群， 它们是主要实现亿级流量通信功能不可缺少的集群。其次是SpringCloud WEB服务集群、MySql集群，完成海量用户的登录和存储，以及离线消息的存储。最后是RocketMQ消息队列集群，用于离线消息的
转载
2024-05-09 19:40:20
1044阅读
过去一段时间一直在忙于做网站的改版，因为内部的各个网站风格太乱，信息传送共享方面也不是很方便，所以领导直接要求换掉。差不多忙了有两个多月才把产品订了下来，在此期间我学习了很多，也了解了很多，现在就拿出来给大家分享一下我的心得。一、什么是集团/企业网站集群化？这是个很深奥的问题，在此之前我想我们首先要明白一个概念，就是什么是集群。所谓集群就是指一组计算机，它们作为一个整体向用户提供一组网络资源。一个
转载
2023-10-31 16:46:22
5阅读
一：了解集群的原理：二：集群环境的搭建之前的准备工作：集群环境的搭建需要退回到hadoop分布式搭建之前：这个时候可以在安装hadoop之前在虚拟机中拍一个快照如果没有拍快照怎么解决：1，先停掉Hadoop的运行 :stop-dfs.sh2检查是否停掉：jps：看里面是否还有与Hadoop相关的程序在运行3如果没有相关的进程运行就删除hadoop的安装软件：rm -rf h
转载
2023-08-03 10:49:05
98阅读
# 大数据集群架构科普
## 什么是大数据集群架构？
大数据集群架构是指将大数据分布式处理的技术应用于集群环境中，通过多台服务器协同工作，实现大规模数据的存储、处理和分析。在大数据集群架构中，常用的技术包括Hadoop、Spark、Kafka等。
## 大数据集群架构的组成
大数据集群架构通常由以下几个重要组件构成：
- **存储层**：用于存储海量数据的组件，如HDFS（Hadoop
原创
2024-06-11 05:03:49
68阅读
