一、基本架构

storm基本架构_数据

nimbus: storm的核心,负责分配任务和监控工作状态

supervisor: 监听nimbus分配的任务,负责启动/关闭worker

worker: 一个worker是一个独立的进程,负责执行一个topology

executor: worker的执行线程,一个worker中可以有多个executor。

task: storm中最小的处理单元,是一个具体的spout或者bolt

zookeeper: nimbus和supervisor之间的通信通过zookerper完成

二、storm组件

storm基本架构_大数据_02

三、开发流程

1.编写spout获取数据,将数据(tuple)发送到下游的bolt

storm基本架构_技术内幕_03

2.编写bolt,根据上游的spout或者bolt输出的字段获取到数据,进行处理,然后发送到下游的bolt

storm基本架构_大数据_04

3.最后一个bolt处理完后,进行持久化

4.配置storm,构建topology

5.打包上传到服务器,提交到集群运行


参考资料:

《storm技术内幕与大数据实战》

网络上志同道合,我们一起学习网络安全,一起进步,QQ群:694839022