先说说为啥有这系列文章，其实是应为公司最近在研发一个有关大数据风控的产品，要用到 Storm，我也就被安排接触这个框架了。
其实本来是打算这方面去研究 JStorm 的，听说更加优秀，而且是用 Java 写的，能看源码，但是工作为重。
所以说，最近忙忙的，这系列写的也肯定快不了。好了，不说废话，先翻译官网介绍 storm 的一句话：Storm 是一个分布式的，可靠的，容错的数据实时计算系统，用于流
转载
2023-08-10 18:51:26
222阅读
最近参与一个项目的开发，leader和产品决定使用开源的streamsets做底层服务和监控页面。除开发产品模块页面外，我还负责streamsets前端的修改和与自己开发模块的集成。经过调研，streamsets前端使用的技术栈和我们公司常用的技术有些出入，并不太方便直接从代码层面合成一个项目，决定在自己项目中使用iframe嵌入streamsets监控、日志等页面。最终整个产品架构图如下：需要注
转载
2024-04-12 14:23:13
61阅读
详细步骤请查看：https://github.com/streamsets/datacollector/blob/2.6/BUILD.md1 平台介绍大数据采集平台，数据源支持结构化和非结构化数据采集，目标源支持hdfs或hive 等，可视化流程设计界面，定时任务调度。2 环境配置 Centos 7l Git 1.9
转载
2023-10-11 15:54:01
209阅读
StreamSets总体介绍StreamSets是国外一家致力于数据处理与分析的大数据解决方案的公司。公司主要选择DataOps发展路线，解决将数据转化为业务价值的重大挑战。至于为什么选择DataOps这条路子，有兴趣的同学可以查看https://streamsets.com/why-dataops/what-is-dataops/。自公司成立以来，成功研制了多款用于数据处理的软件及平台。下图是该
转载
2024-04-30 21:47:45
63阅读
拓扑图：主要步骤：1.搭建lemp平台2.Nginx做缓存及代理均衡3.lvs（DR）-keepalived实现高可用4.”免“验证rsync-inotify同步数据5.mysql主从及amoeba读写分离6.DRBD-heartbeat-NFS
原创
2015-01-12 09:13:02
1911阅读
理解集群：同一个业务，部署在多个服务器上**【多个人在一起做同样的事】**分布式：一个业务拆分为多个子业务，部署在多个服务器上**【多个人在一起做不同的事】**示例：集群：饭店原来只有一个厨师，负责备料洗菜炒菜三步。但是后来客人多了，就又请来了很多能够同时备料洗菜炒菜的厨师。这两个厨师的关系就是集群。分布式：饭店请了备料师、配菜师、厨师。专门的人做专门的事儿。备料师、配菜师、厨师的关系就是分布式。
转载
2023-07-09 13:16:51
182阅读
Kubernetes 集群架构 上图，就是Kubernetes整个集群的一张图，Kubernetes集群就是掌握了所有Kubernetes里面计算、存储、网络资源，并且进行统一管理、统筹调度的一套节点群。在集群里面有两大类型的节点，Kubernetes第一大类型的节点叫做Kubernetes Master，它是一个主脑节点，还有很多的节点，我们称为Node。 其中Kubernetes Master
转载
2024-08-13 19:10:53
162阅读
系统框架，分为以下几种：1、单机架构这种架构，很常见，比如有一个很小的系统，不用处理很多东西，只需要一台服务器，在上面搭建出自己需要的服务，就可以开始工作。这种架构优点显而易见，方便维护，出了问题解决起来很方便。缺点也很明显，如果处理变多，资源也就不够用了。 2、集群架构单机架构无法满足要求，集群架构就可以提供更好更快的处理，简单来说，集群架构就是把单机架构上面运行的服务，摘出来，然后复
转载
2023-07-07 01:22:28
261阅读
文章目录1. kubernetes集群架构1.1 主控节点（Master）1.2 工作节点（node）2. kubernetes核心概念2.1 Pod2.2 Controller2.3 Service3. 总结 今天我们进行k8s第二更，kubernetes集群架构和三个核心概念。 1. kubernetes集群架构kubernetes包含主控节点和工作节点，集群架构如图所示：1.1 主控节点
转载
2023-09-22 10:57:03
75阅读
前言上一篇文章我们通过 Storm 的本地模式对其编程模型进行了讲述.... 本篇文章我们来讲一讲 Storm 的集群：Storm 的特点Storm 的架构和组件如何安装 Storm 集群如何提交作业到 Storm 集群Storm 的特点分布式：这个没什么好说的，对于大数据来说，单台机器肯定是无法满足需求的高容错，高可靠：其容错下了很大的功夫，这个我们以后再细说。高性能：性能一直为大家所关注的一个
转载
2024-02-13 20:56:51
94阅读
http://www.tianshouzhi.com/api/tutorials/storm/51 田守
原创
2023-05-11 11:48:30
114阅读
架构图 架构分析 架构图集群总共需要有8台机子，mysql需要4台，mycat需要2台，负载均衡和高可用需要2台。之所以Mycat需要集群这样的架构，是为了避免Mycat单点失效的情况，mysql主机有4台（db1-db4）,其中db1和db3是组一（主主复制），db2和db4是组二（主主复制），之所以需要主主复制是因为mycat可以实现组内db自动故障切换，恢...
转载
2021-08-10 10:00:12
255阅读
Kubernetes（简称K8S）是一种用于容器编排和管理的开源平台。它可以帮助开发者更高效地管理和部署容器化应用程序，提供高可用性、可伸缩性和自动化管理。在这篇文章中，我将为刚入行的小白介绍K8S集群架构，并提供一些相关的代码示例。
## K8S集群架构概述
Kubernetes集群由多个节点组成，每个节点都可以是物理机或虚拟机。集群架构是高度可扩展的，可以在节点上运行和管理多个容器化应用程序
原创
2024-01-22 15:11:52
80阅读
Linux集群是一种用于处理计算任务的集合，它可以提高系统的可靠性和性能。红帽公司作为Linux操作系统的领导者，提供了一系列的集群架构方案，帮助企业构建稳定、高效的IT基础设施。
Linux集群架构通常包括多台服务器节点，这些节点通过网络连接在一起，共同运行一个应用程序或服务。每个节点都有自己的处理器、内存和存储资源，通过集群管理软件可以实现节点之间的协调和通信。红帽提供的集群管理软件可以自动
原创
2024-03-20 11:13:13
78阅读
ES（Elasticsearch）是一个分布式搜索和分析引擎，通常用于构建大型的日志分析、全文搜索和监控系统。为了提高性能、可靠性和扩展性，我们通常会搭建ES集群架构。在本文中，我将向你介绍如何实现ES集群架构，并给出具体的代码示例。
### 实现ES集群架构流程
| 步骤 | 操作 |
| --- | --- |
| 1 | 部署多个ES节点 |
| 2 | 配置ES节点 |
| 3 | 使
原创
2024-05-30 10:59:09
73阅读
Ceph集群架构：实现高可用性与可扩展性
Ceph是一个开源的分布式存储系统，具备高可用性和可扩展性，广泛应用于大规模数据存储环境中。Ceph集群架构是Ceph成功实现高性能数据存储和数据管理的关键。
Ceph集群架构采用了分布式架构的设计思想，将存储数据和元数据分散在整个集群中的多个节点上，实现数据的冗余备份和负载均衡。Ceph集群由多个组件组成，包括监视器（Monitor）、对象存储器（O
原创
2024-02-01 12:10:45
89阅读
# 构建VM集群架构：初学者指南
作为一名刚入行的开发者，你可能对如何构建虚拟机（VM）集群架构感到困惑。本文将为你提供一个详细的指南，帮助你理解并实现这一过程。
## 1. VM集群架构概述
虚拟机集群是一种将多个虚拟机（VM）组织在一起，以提高计算资源利用率和提供高可用性的方法。在VM集群中，虚拟机可以共享物理服务器的资源，如CPU、内存和存储。
## 2. 构建VM集群的步骤
以下
原创
2024-07-17 03:44:31
142阅读
RabbitMQ集群架构及代码示例
# 引言
在现代的分布式系统中，消息队列是一种常见的通信机制，用于在不同的组件之间传递消息。RabbitMQ是一个广泛使用的开源消息代理，它实现了高级消息队列协议（AMQP），提供了可靠且灵活的消息传递。RabbitMQ能够轻松地在集群环境中运行，以提高可靠性和扩展性。本文将介绍RabbitMQ集群架构以及如何使用代码示例来构建一个简单的RabbitMQ集群
原创
2023-09-14 12:58:33
83阅读
### TDSQL集群架构详解
TDSQL（Transaction Data SQL）是一个用于处理大规模事务数据的分布式数据库系统，其集群架构设计旨在实现高可用性、高性能和可伸缩性。在本文中，我们将重点介绍TDSQL集群架构的主要组成部分，并通过代码示例演示其工作原理。
#### TDSQL集群架构介绍
TDSQL集群主要由三个组件组成：Coordinator、Data Node和Prox
原创
2024-05-09 03:35:01
185阅读
etcd集群状态存储：etcd 存储所有 Kubernetes 对象的状态，例如部署、pod、服务、配置映射和机密。配置管理：集群配置的更改存储在 etcd 中，允许 Kubernetes 管理和维护集群的所需状态。注意：etcd 可能位于 kube-system 中Kube-api 服务器Kubernetes API 服务器是 Kubernetes 控制平面的核心组件，它公开 Kubernete
原创
2024-06-12 17:40:57
54阅读
