前段时间搭建了一个基于阿里云轻量应用服务器的spark集群，把搭建步骤记录下来供大家参考，没有将每个步骤详细写下来，只是给正在困惑中的宝宝一个整体的搭建思路。1.购买阿里云轻量应用服务器，装centOS系统买了三台，如果是学生的话，可以用自己还有同学的账号，会有折扣2.下载一款ssh客户端（例如FinalShell）,连接远程服务器3.对于刚开始学习的同学，可以先熟悉一下linux系统的各个操作命
转载
2023-10-07 21:35:29
103阅读
1. 认识 Hadoop 和 Hbase1.1 Hadoop 简单介绍Hadoop 是一个使用 Java 编写的 Apache 开放源代码框架，它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop 框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境中工作。Hadoop 旨在从单一服务器扩展到数千台机器，每台机器都提供本地计算和存储。1.2 Hadoop 架构Ha
转载
2024-02-19 22:27:56
27阅读
Hadoop集群架构图通常包括Hadoop的不同组件如HDFS、YARN、MapReduce、以及其他辅助组件的相互连接关系，形成一个大规模数据处理的分布式系统。在这篇文章中，我将向你介绍如何实现一个简单的Hadoop集群架构图并展示代码示例，希望能帮助你更好地理解并搭建Hadoop集群。
首先，让我们看一下搭建Hadoop集群架构图的整个流程，并用表格展示相关步骤：
| 步骤 |
原创
2024-04-28 11:04:30
128阅读
01-Flink-概念：1. Flink的特点事件驱动（Event-driven）基于流处理一切皆由流组成，离线数据是有界的流；实时数据是一个没有界限的流。（有界流、无界流）分层API越顶层越抽象，表达含义越简明，使用越方便越底层越具体，表达能力越丰富，使用越灵活1.1 Flink vs Spark Streaming数据模型
Spark采用RDD模型，spark streaming的DSt
转载
2024-07-24 15:00:28
23阅读
前言Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high thro
转载
2023-11-18 23:18:53
65阅读
众所周知Hadoop2.0包括三个部分，分布式存储HDFS、资源调度YARN、分布式计算MapReduce，而MapReduce是基于HDFS、YARN基础之上进行的分布式计算，HDFS和YARN搭建好分布式集群，MapReduce自然也就有了分布式集群环境，所以我们主要来说HDFS和YARN的集群架构。 HDFS的集群架构HDFS有三个进程NN、SNN、DN，NN，Yarn是两个进程R
转载
2023-07-11 13:22:06
160阅读
问题背景：单个prometheus性能到达瓶颈问题、多个prometheus-server数据汇总问题等prometheus监控数据持久化首先大家都知道prometheus是自带数据存储功能的。
优点是简单易用，基本无需配置
缺点是：1、存在数据无法长久保存（尤其是频繁变更的监控对象，监控对象变化，短时间内监控数据也会随之丢失，如k8s等）
2、基于本地存储的话，Prometheus监控系统扩展比
转载
2023-10-12 11:27:11
136阅读
简介 Hadoop 是 Apache 旗下的一个用 java 语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。它的核心组件有HDFS（分布式文件系统）解决海量数据存储、YARN（作业调度和集群资源管理框架）解决资源任务调度和MapReduce（分布式运算编程框架）解决海量数据计算。另外Hadoop如今拥有一个庞大
转载
2023-07-10 15:46:16
57阅读
拓扑图：主要步骤：1.搭建lemp平台2.Nginx做缓存及代理均衡3.lvs（DR）-keepalived实现高可用4.”免“验证rsync-inotify同步数据5.mysql主从及amoeba读写分离6.DRBD-heartbeat-NFS
原创
2015-01-12 09:13:02
1911阅读
理解集群：同一个业务，部署在多个服务器上**【多个人在一起做同样的事】**分布式：一个业务拆分为多个子业务，部署在多个服务器上**【多个人在一起做不同的事】**示例：集群：饭店原来只有一个厨师，负责备料洗菜炒菜三步。但是后来客人多了，就又请来了很多能够同时备料洗菜炒菜的厨师。这两个厨师的关系就是集群。分布式：饭店请了备料师、配菜师、厨师。专门的人做专门的事儿。备料师、配菜师、厨师的关系就是分布式。
转载
2023-07-09 13:16:51
182阅读
系统框架，分为以下几种：1、单机架构这种架构，很常见，比如有一个很小的系统，不用处理很多东西，只需要一台服务器，在上面搭建出自己需要的服务，就可以开始工作。这种架构优点显而易见，方便维护，出了问题解决起来很方便。缺点也很明显，如果处理变多，资源也就不够用了。 2、集群架构单机架构无法满足要求，集群架构就可以提供更好更快的处理，简单来说，集群架构就是把单机架构上面运行的服务，摘出来，然后复
转载
2023-07-07 01:22:28
261阅读
Kubernetes 集群架构 上图，就是Kubernetes整个集群的一张图，Kubernetes集群就是掌握了所有Kubernetes里面计算、存储、网络资源，并且进行统一管理、统筹调度的一套节点群。在集群里面有两大类型的节点，Kubernetes第一大类型的节点叫做Kubernetes Master，它是一个主脑节点，还有很多的节点，我们称为Node。 其中Kubernetes Master
转载
2024-08-13 19:10:53
162阅读
转载
2023-09-13 10:54:14
242阅读
1.Hadoop简介： Hadoop是一个apache下的开源框架，它允许在整个集群使用简单的编程模型计算机的分布式环境存储并处理大数据。他的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储Hadoop的历史： Hadoop的特点：
高可靠性Hadoop按位存储和处理数据的能力值得人们信赖高扩展性：
Hadoop是在可用的计算机集簇分配
转载
2023-07-13 14:21:10
131阅读
前言上一篇文章我们通过 Storm 的本地模式对其编程模型进行了讲述.... 本篇文章我们来讲一讲 Storm 的集群：Storm 的特点Storm 的架构和组件如何安装 Storm 集群如何提交作业到 Storm 集群Storm 的特点分布式：这个没什么好说的，对于大数据来说，单台机器肯定是无法满足需求的高容错，高可靠：其容错下了很大的功夫，这个我们以后再细说。高性能：性能一直为大家所关注的一个
转载
2024-02-13 20:56:51
94阅读
文章目录1. kubernetes集群架构1.1 主控节点（Master）1.2 工作节点（node）2. kubernetes核心概念2.1 Pod2.2 Controller2.3 Service3. 总结 今天我们进行k8s第二更，kubernetes集群架构和三个核心概念。 1. kubernetes集群架构kubernetes包含主控节点和工作节点，集群架构如图所示：1.1 主控节点
转载
2023-09-22 10:57:03
75阅读
先说说为啥有这系列文章，其实是应为公司最近在研发一个有关大数据风控的产品，要用到 Storm，我也就被安排接触这个框架了。
其实本来是打算这方面去研究 JStorm 的，听说更加优秀，而且是用 Java 写的，能看源码，但是工作为重。
所以说，最近忙忙的，这系列写的也肯定快不了。好了，不说废话，先翻译官网介绍 storm 的一句话：Storm 是一个分布式的，可靠的，容错的数据实时计算系统，用于流
转载
2023-08-10 18:51:26
222阅读
介绍高可用hearbeat(很长时间没有更新)、keepalived负载均衡LVS、keepalive、haproxy、nginx、商业的有F5、netscaler有更高的并发量有很好的稳定性加机器或者更换硬件配置增加到定阶段是还是有瓶颈只能横向扩容负载均衡keepalived介绍通过VRRP虚拟路由冗余协议安装keeplived解决单点故障编辑配置文件global全局定义参数notificati
原创
2018-04-09 22:42:24
2378阅读
点赞
Linux集群架构 根据功能划分为两大类：高可用和负载均衡 高可用集群通常为两台服务器，一台工作，另外一台作为冗余，当提供服务的机器宕机，冗余将接替继续提供服务 实现高可用的开源软件有：heartbeat、keepalived 负载均衡集群，需要有一台服务器作为分发器，它负责把用户的请求分发给后端的
转载
2018-01-23 14:05:00
299阅读
2评论
1、es中几个基本概念：集群（Cluster）一组拥有共同
原创
2022-06-16 13:20:36
350阅读
