结合Ansible技术监控Storm集群

1、我的hosts配置

# vim /etc/hosts

123456789101112

192.168.1.100 storm_zk1

192.168.1.101 storm_zk2

192.168.1.102 storm_zk3

192.168.1.103 storm_nimbus

192.168.1.104 storm_supervisor1

192.168.1.105 storm_supervisor2

192.168.1.106 storm_supervisor3

192.168.1.107 storm_supervisor4

192.168.1.108 storm_supervisor5

192.168.1.109 storm_supervisor6

2、我的storm配置

# vim /usr/local/storm/conf/storm.yaml

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970

drpc.servers:

- "storm_supervisor1"

- "storm_supervisor2"

- "storm_supervisor3"

storm.zookeeper.servers:

- "storm_zk1"

- "storm_zk2"

- "storm_zk3"

storm.local.dir: "/data/storm/workdir"

nimbus.host: "storm_nimbus"

nimbus.thrift.port: 6627

nimbus.thrift.max_buffer_size: 1048576

nimbus.childopts: "-Xmx1024m"

nimbus.task.timeout.secs: 30

nimbus.supervisor.timeout.secs: 60

nimbus.monitor.freq.secs: 10

nimbus.cleanup.inbox.freq.secs: 600

nimbus.inbox.jar.expiration.secs: 3600

nimbus.task.launch.secs: 240

nimbus.reassign: true

nimbus.file.copy.expiration.secs: 600

nimbus.topology.validator: "backtype.storm.nimbus.DefaultTopologyValidator"

storm.zookeeper.port: 2181

storm.zookeeper.root: "/data/storm/zkinfo"

storm.cluster.mode: "distributed"

storm.local.mode.zmq: false

ui.port: 8080

ui.childopts: "-Xmx768m"

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

- 6704

- 6705

- 6706

- 6707

- 6708

- 6709

supervisor.childopts: "-Xmx2048m"

supervisor.worker.start.timeout.secs: 240

supervisor.worker.timeout.secs: 30

supervisor.monitor.frequency.secs: 3

supervisor.heartbeat.frequency.secs: 5

supervisor.enable: true

worker.childopts: "-Xmx4096m"

topology.max.spout.pending: 5000

storm.zookeeper.session.timeout: 5000

storm.zookeeper.connection.timeout: 3000

storm.zookeeper.retry.times: 6

storm.zookeeper.retry.interval: 2000

storm.zookeeper.retry.intervalceiling.millis: 30000

storm.thrift.transport: "backtype.storm.security.auth.SimpleTransportPlugin"

storm.messaging.transport: "backtype.storm.messaging.netty.Context"

storm.messaging.netty.server_worker_threads: 50

storm.messaging.netty.client_worker_threads: 50

storm.messaging.netty.buffer_size: 20971520

storm.messaging.netty.max_retries: 100

storm.messaging.netty.max_wait_ms: 1000

storm.messaging.netty.min_wait_ms: 100

3、nimbus节点部署

# vim /data/scripts/monitor_status_for_storm.sh

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263

#!/bin/sh

PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin

. /etc/profile

## 监控页面地址参数

MON_SRV_IPADDR="192.168.1.103"

MON_SRV_PORT="8080"

## 是否已正确扫描

SCAN_FLAG=0

## 工作基路径

BASE_PATH="/data/scripts"

## 异常 storm Supervisor 主机地址列表

FAIL_SUPERVISOR_LIST="${BASE_PATH}/fail_supervisor.txt"

#---------------------------------------------------------------------------------------------------

## 重启storm的nimbus服务

function restart_storm_nimbus_server()

{

[[ -n `ps aux | grep java | grep storm` ]] && kill -9 `ps aux | grep java | grep storm | awk '{print $2}'`

nohup /usr/local/storm/bin/storm nimbus >/dev/null 2>&1 &

nohup /usr/local/storm/bin/storm ui >/dev/null 2>&1 &

sleep 30

}

#---------------------------------------------------------------------------------------------------

## 1、检查监控页面是否正常【8080端口不通的情况】

for ((i=0; i<3; i++)); do

RETVAL=`/usr/bin/nmap -n -sS -p ${MON_SRV_PORT} ${MON_SRV_IPADDR} | grep open`

[[ -n "${RETVAL}" ]] && SCAN_FLAG=1;break || sleep 10

done

[[ ${SCAN_FLAG} -ne 1 ]] && restart_storm_nimbus_server

#---------------------------------------------------------------------------------------------------

## 2、将监控页面抓取内容与本地hosts内容进行差异比较，以确定是否存在异常的 storm supervisor 服务

curl -s http://${MON_SRV_IPADDR}:${MON_SRV_PORT}/ | sed 's/<td>/<td>\n/g' | awk -F '<' '/^storm_/{print $1}' | awk '!/nimbus/{print}' | sort > ${BASE_PATH}/supervisor_list_from_page.txt

## 如果获取的storm nimbus监控页面数据为空，代表storm nimbus服务存在异常

[[ -z `sed '/^$/d' ${BASE_PATH}/supervisor_list_from_page.txt` ]] && restart_storm_nimbus_server

sort -nr ${BASE_PATH}/supervisor_list_from_page.txt ${BASE_PATH}/supervisor_list.txt | uniq -u > ${BASE_PATH}/supervisor_list_for_failed.txt

[[ -z `sed '/^$/d' ${BASE_PATH}/supervisor_list_for_failed.txt` ]] && rm -f ${BASE_PATH}/supervisor_list_for_failed.txt && exit 0

#---------------------------------------------------------------------------------------------------

## 3、获得异常的 storm supervisor 服务的IP地址列表

echo "[fail_supervisor]" >> ${FAIL_SUPERVISOR_LIST}

for SUPERVISOR_NAMEADDR in `cat ${BASE_PATH}/supervisor_list_for_failed.txt`

do

TEMP_IPADDR=`grep -w ${SUPERVISOR_NAMEADDR} /etc/hosts | grep -v '#' | awk '{print $1}' | tail -1`

echo "${TEMP_IPADDR}" >> ${FAIL_SUPERVISOR_LIST}

IPLIST="${IPLIST} ${TEMP_IPADDR}"

done

#---------------------------------------------------------------------------------------------------

## 4、远程重启 storm supervisor 服务

/usr/local/bin/ansible -i ${FAIL_SUPERVISOR_LIST} fail_supervisor -m shell -a "/data/scripts/restart_storm_service.sh"

rm -f ${FAIL_SUPERVISOR_LIST}

# vim /data/scripts/supervisor_list.txt

123456

storm_supervisor1

storm_supervisor2

storm_supervisor3

storm_supervisor4

storm_supervisor5

storm_supervisor6

# touch /var/run/check_storm.lock

# crontab -e

*/2 * * * * (flock --timeout=0 /var/run/check_storm.lock /data/scripts/monitor_status_for_storm.sh >/dev/null 2>&1)

4、supervisor节点部署

# vim /data/scripts/restart_storm_service.sh

123456

#!/bin/sh

PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin

. /etc/profile

[[ -n `ps aux | grep java | grep storm` ]] && kill -9 `ps aux | grep java | grep storm | awk '{print $2}'`

nohup /usr/local/storm/bin/storm supervisor >/dev/null 2>&1 &

本文出自 “人生理想在于坚持不懈” 博客，请务必保留此出处http://sofar.blog.51cto.com/353572/1579897

时间： 2024-04-27 03:20:58

结合Ansible技术监控Storm集群的相关文章

《Storm分布式实时计算模式》——2.1　Storm集群的框架

第2章 配置Storm集群 在本章中你将深入理解Storm的技术栈,它的软件依赖,以及搭建和部署Storm集群的过程.我们首先会在伪分布式模式下安装Storm,所有的组件都安装在同一台机器上,而不是在多台机器上.一旦你了解了安装和配置Storm的基本步骤,我们就可以通过Puppet这个工具进行自动化的安装,这样的话部署多节点的集群可以节省大量的时间和精力. 本章包括以下内容: 组成Storm集群的不同组件和服务 Storm的技术栈 在Linux上安装和配置Storm Storm的配置参数 Sto

Apache Storm 官方文档 —— Storm 集群安装配置

原文链接    译者:魏勇 本文详细介绍了 Storm 集群的安装配置方法.如果需要在 AWS 上安装 Storm,你应该先了解一下 storm-deploy 项目.storm-deploy 可以自动完成 E2 上 Storm 集群的准备.配置.安装的全部过程,同时还设置好了 Ganglia,方便监控 CPU.磁盘以及网络的使用信息. 如果你在使用 Storm 集群时遇到问题,请先查看"问题与解决"一文中是否已有相应的解决方案.如果检索不到有效的解决方法,请向社区的邮件列表发送关于问题

《Storm实时数据处理》一1.5　创建Storm集群——配置机器

1.5 创建Storm集群--配置机器 本地模式下测试集群对调试和验证集群的基本功能逻辑很有帮助.但是,这并不代表你就能够了解集群在实际环境中运行的状况.此外,只有当系统已经在产品环境中运行时,开发工作才算真正完成.任何开发者都应该重视这一点,并且这也是整个DevOps实践的基础.无论采用什么方法,你都必须能够将代码可靠地部署到产品环境中.本节将展示如何直接通过版本控制创建和配置一个完整的集群.在此之前,需要事先说明一些有关创建和配置集群的基本原则: 我们需要时刻了解服务器的会话状态.在没有严格

Storm集群安装部署步骤

开始学习Storm,本文主要记录Storm集群安装部署步骤,不包括对Storm的介绍. 安装storm集群,需要依赖以下组件: Zookeeper Python Zeromq Storm JDK JZMQ 故安装过程根据上面的组件分为以下几步: 安装JDK 安装Zookeeper集群 安装Python及依赖 安装Storm 另外,操作系统环境为:Centos6.4,安装用户为:root. 1. 安装JDK 安装jdk有很多方法,可以参考文博客使用yum安装CDH Hadoop集群中的jdk安装步

storm集群nimbus连接不上supervisor

问题描述 storm集群nimbus连接不上supervisor Ubuntu12.04系统,使用0.9.3版的storm通过单独的终端,启动:主机的nimbus和ui,2台从机上的supervisor,但在ui的网页上,supervisor summary的数量是0.

storm集群部署和配置过程详解

  先整体介绍一下搭建storm集群的步骤: 设置zookeeper集群 安装依赖到所有nimbus和worker节点 下载并解压storm发布版本到所有nimbus和worker节点 配置storm.yaml 启动相关后台进程 1 首先配置zookeeper集群      我们知道storm通过zookeeper来协调整个集群.zookeeper不是用来做消息传递,因此storm不会给zookeeper带来很大的压力.单节点的zookeeper在大多情形下是可以胜任的,但是如果你想得到更好的可

《Storm企业级应用：实战、运维和调优》——2.3　安装部署Storm集群

2.3 安装部署Storm集群 Storm的安装.部署过程分为安装依赖.安装Storm.启动和查看安装等几个部分.其中,前两部分内容在三个节点上都是一样的,只要在启动时区分开角色即可.接下来将讲解Storm集群的安装过程.2.3.1 安装Storm依赖库 在Nimbus和Supervisor的节点上安装Storm时,都需要安装相关的依赖库,具体如下: ZeroMQ 2.1.7. JZMQ. 其中,ZeroMQ推荐使用2.1.7版本,请勿使用2.1.10版本.官方解释是因为该版本的一些严重Bug会

关于storm集群最终结果保存的问题

问题描述 关于storm集群最终结果保存的问题 这两天一直在玩storm,网上的例子也看了好多,在本地运行起来了,可是一旦切换到集群环境,所有的写操作都无法完成,无论是通过socket还是文件读写还是数据库读写,到最后提交到集群后,运行起来都会出现 filename not matched: resources/** kill 10936: 没有那个进程 这样的错误,我知道提交到集群环境后由于写操作不在一个节点上了,所以难免会出现问题,但是网上都没有针对数据持久化的例子,所以想请教storm最后

Linux下Storm集群搭建配置教程

准备服务器 4台服务器,在每台hosts配置,命名为storm storm1 storm2 storm3,storm用作nimbus,drpc,admin等 java环境要配置好 部署zookeeper集群 为每台zookeeper目录建立data.log目录,并在data下新建文件myid,内容分别为1,2,3 zoo.cfg配置 dataDir=/usr/local/zookeeper/data dataLogDir=/usr/local/zookeeper/log server.1=sto