Storm集群规划

主节点: 192.168.20.33

从节点: 192.168.20.35      192.168.20.36  192.168.20.37

ZK节点: 192.168.20.35      192.168.20.36   192.168.20.37

注意: ZK节点上所有的ZooKeeper要保持时钟不同,可以通过一下代码设置:

* * * * * /usr/sbin/ntpdate time.nist.gov

1、安装zookeeper集群


2、安装apache-storm-0.9.3.tar.gz

下载地址: https://storm.apache.org/downloads.html

3、修改文件conf/storm.yaml

3.1、storm.zookeeper.servers   设置ZK节点
storm.zookeeper.servers:
     - "192.168.2.35"
     - "192.168.2.36"
     - "192.168.2.37"

3.2、nimbus.host: "192.168.2.33"  设置 主节点地址

3.3、storm.local.dir     设置storm工作目录

storm.local.dir: "/home/hadoop/app/storm-0.9.3/tmp"

3.4、supervisor.slots.ports     设置supervisor的端口,也可不配置,使用默认位置

supervisor.slots.ports:
     - 6700
     - 6701
     - 6702

4、拷贝storm目录到从节点

[hadoop@cloud03 app]$ scp -r storm-0.9.3/ hadoop@cloud05:/home/hadoop/app/

[hadoop@cloud03 app]$ scp -r storm-0.9.3/ hadoop@cloud06:/home/hadoop/app/

[hadoop@cloud03 app]$ scp -r storm-0.9.3/ hadoop@cloud07:/home/hadoop/app/

5、启动主从服务

5.1、后台启动主节点 nimbus(33节点上执行)

nohup bin/storm nimbus >/dev/null 2>&1 &


spacer.gif

5.2、启动从节点(35和36,37分别执行)

nohup bin/storm supervisor >/dev/null 2>&1 &


spacer.gif


spacer.gif


spacer.gif

备注: 使用nohup的区别,如果不适用nohup,关闭当前窗口会关闭当前进程。

6、启动storm ui服务

6.1、主节点执行启动命令

nohup  bin/storm ui >/dev/null  2>&1 & 

6.2、验证storm ui服务

在浏览器中输入:  http://192.168.2.33:8080/index.html

7、启动logviewer服务(从节点需全部启动)

所有节点上都执行下面的命令:nohup  bin/storm logviewer >/dev/null 2>&1 &


备注: 目的是把supervisor节点上产生的日志生成一个文件,即storm/logs/* 的内容生成一个日志文件,通过界面可以查看日志内容

8、列出topology和kill调用它