Linux集群和自动化维2.6.2　统计类脚本

2.6.2　统计类脚本

统计工作一直是Shell和Python脚本的强项，我们完全可以利用sed、awk再加上正则表达式，写出强大的统计脚本来分析我们的系统日志、安全日志及服务器应用日志等。

1. Nginx负载均衡器日志汇总脚本

以下脚本是用来分析Nginx负载均衡器的日志的，作为Awstats的补充，它可以快速得出排名最前的网站和IP等，脚本内容如下（此脚本在CentOS 5.8/6.4 x86_64下均已测试通过）：

#!/bin/bash

 

if [ $# -eq 0 ];
then

   echo "Error: please specify
logfile."

   exit 0

else

   LOG=$1

fi

 

if [ ! -f $1 ];
then

   echo "Sorry, sir, I can't find this
apache log file, pls try again!"

exit 0

fi

 

####################################################

echo "Most
of the ip:"

echo
"-------------------------------------------"

awk '{ print $1
}' $LOG | sort | uniq -c | sort -nr | head -10

echo

echo

####################################################

echo "Most
of the time:"

echo
"--------------------------------------------"

awk '{ print $4
}' $LOG | cut -c 14-18 | sort | uniq -c | sort -nr | head -10

echo

echo

####################################################

echo "Most
of the page:"

echo
"--------------------------------------------"

awk '{print
$11}' $LOG | sed 's/^.*\（.cn*\）\"/\1/g' |
sort | uniq -c | sort -rn | head -10

echo

echo

####################################################

echo "Most
of the time / Most of the ip:"

echo
"--------------------------------------------"

awk '{ print $4
}' $LOG | cut -c 14-18 | sort -n | uniq -c | sort -nr | head -10 > timelog

 

for i in `awk '{
print $2 }' timelog`

do

   num=`grep $i timelog | awk '{ print $1 }'`

   echo " $i $num"

   ip=`grep $i $LOG | awk '{ print $1}' | sort
-n | uniq -c | sort -nr | head -10`

   echo "$ip"

   echo

done

rm -f timelog

2. 探测多节点Web服务质量

工作中有时会出现网络延迟导致程序返回数据不及时的问题，这时就需要精准定位机器是在哪个时间段出现了网络延迟的情况。对此，可以通过Python下的pycurl模块来实现定位，它可以通过调用pycurl提供的方法，来探测Web服务质量，比如了解相应的HTTP状态码、请求延时、HTTP头信息、下载速度等，脚本内容如下所示（此脚本在Amazon Linux AMI x86_64下已测试通过）：

#!/usr/bin/python

#encoding:utf-8

#*/30 * * * *
/usr/bin/python /root/dnstime.py >> /root/myreport.txt 2>&1

import os

import time

import sys

import pycurl

#import commands

import time

 

URL="http://imp-east.example.net"

ISOTIMEFORMAT="%Y-%m-%d
%X"

c =
pycurl.Curl()

c.setopt(pycurl.URL,
URL)

c.setopt(pycurl.CONNECTTIMEOUT,
5)

c.setopt(pycurl.TIMEOUT,
5)

c.setopt(pycurl.FORBID_REUSE,
1)

c.setopt(pycurl.MAXREDIRS,
1)

c.setopt(pycurl.NOPROGRESS,
1)

c.setopt(pycurl.DNS_CACHE_TIMEOUT,30)

indexfile =
open(os.path.dirname(os.path.realpath(__file__))+"/content.txt",
"wb")

c.setopt(pycurl.WRITEHEADER,
indexfile)

c.setopt(pycurl.WRITEDATA,
indexfile)

try:

    c.perform()

except
Exception,e:

    print "connecion error:"+str(e)

    indexfile.close()

    c.close()

    sys.exit()

 

NAMELOOKUP_TIME
=  c.getinfo(c.NAMELOOKUP_TIME)

CONNECT_TIME
=  c.getinfo(c.CONNECT_TIME)

PRETRANSFER_TIME
=   c.getinfo(c.PRETRANSFER_TIME)

STARTTRANSFER_TIME
= c.getinfo(c.STARTTRANSFER_TIME)

TOTAL_TIME =
c.getinfo(c.TOTAL_TIME)

HTTP_CODE =  c.getinfo(c.HTTP_CODE)

SIZE_DOWNLOAD
=  c.getinfo(c.SIZE_DOWNLOAD)

HEADER_SIZE =
c.getinfo(c.HEADER_SIZE)

SPEED_DOWNLOAD=c.getinfo(c.SPEED_DOWNLOAD)

 

print "HTTP状态码：%s" %(HTTP_CODE)

print "DNS解析时间：%.2f ms"%(NAMELOOKUP_TIME*1000)

print "建立连接时间：%.2f ms" %(CONNECT_TIME*1000)

print "准备传输时间：%.2f ms" %(PRETRANSFER_TIME*1000)

print "传输开始时间：%.2f ms" %(STARTTRANSFER_TIME*1000)

print "传输结束总时间：%.2f ms" %(TOTAL_TIME*1000)

print "下载数据包大小：%d bytes/s" %(SIZE_DOWNLOAD)

print "HTTP头部大小：%d byte" %(HEADER_SIZE)

print "平均下载速度：%d bytes/s" %(SPEED_DOWNLOAD)

 

indexfile.close()

c.close()

 

print
time.strftime( ISOTIMEFORMAT, time.gmtime( time.time() ) )

print
"================================================================"

3.测试局域网内主机是否alive的小脚本

我们在对局域网的网络情况进行维护时，经常会遇到这样的问题，需要收集网络中存活的IP，这个时候可以写一个Python脚本，自动收集某一网段的IP。现在的IT技术型公司都比较大，网络工程师一般会规划几个VLAN（网段），我们可以用如下这个脚本来收集某个VLAN下存活的主机，（此脚本在CentOS
6.4 x86_64下已测试通过）：

#!/usr/bin/python

import os

import re

import time

import sys

import
subprocess

 

lifeline =
re.compile(r"(\d) received")

report =
("No response","Partial Response","Alive")

 

print
time.ctime()

for host in
range(1,254):

   ip = "192.168.1."+str(host)

   pingaling =
subprocess.Popen(["ping","-q", "-c 2",
"-r", ip], shell=False, stdin=subprocess.PIPE,
stdout=subprocess.PIPE)

   print "Testing ",ip,

   while 1:

      pingaling.stdout.flush()

      line = pingaling.stdout.readline()

      if not line: break

      igot = re.findall(lifeline,line)

      if igot:

           print report[int(igot[0])]

print
time.ctime()

Python对空格的要求是非常严谨的，请大家注意下这个问题。脚本虽然短小，但非常实用、精悍，可避免到Windows
下去下载局域网检测工具。平时我们在日常工作中也应该注意多收集、多写一些这样的脚本，以达到简化运维工作的目的。

时间： 2024-03-05 05:29:44

Linux集群和自动化维2.6.2　统计类脚本的相关文章

Linux集群和自动化维2.2.1　Shell脚本的基本元素

2.2.1 Shell脚本的基本元素 Shell脚本的第一行通常为如下内容: #!/bin/bash  //第一行 #          //表示单行注释 如果是多行注释呢,应该如何操作?多行注释如下所示: :<<BLOCK 中间部分为要省略的内容 BLOCK Shell脚本的第一行均包含一个以#!为起始标志的文本行,这个特殊的起始标志表示当前文件包含一组命令,需要提交给指定的Shell解释执行.紧随#!标志的是一个路径名,指向执行当前Shell脚本文件的命令解释程序.比如: #!/bin/b

Linux集群和自动化维导读

Preface  前言 为什么要写这本书 笔者从事系统运维和网站架构设计的工作已有10多年,现在在一家外企担任云平台架构师.云计算是现在的主流技术,未来也有很好的发展趋势,云计算的流行对于传统的运维知识体系来说,其实也造成了冲击,有很多读者经常向笔者咨询工作中的困惑,比如从事系统运维工作3-5年后就不知道该如何继续学习和规划自己的职业生涯了.因此笔者想通过此书,跟大家分享一下自己的工作经验和心得(包括传统运维和云平台运维工作的区别与对比),以期解决大家在工作中的困惑.本书提供了大量项目实践和线上

Linux集群和自动化维1.3　如何根据服务器应用选购服务器

1.3 如何根据服务器应用选购服务器   无论物理服务器是选用IDC托管还是AWS EC2云主机(以下为了简略说明,将它们统称为服务器),我们都要面临一个问题,那就是选择服务器的硬件配置,选购硬件配置时要根据服务器的应用需求而定.因为只通过一台服务器是无法满足所有的需求,并解决所有的问题的.在设计网站的系统架构之前,应该从以下方面考虑如何选购服务器: 服务器要运行什么应用. 需要支持多少用户访问. 需要多大空间来存储数据. 业务有多重要. 服务器网卡方面的考虑. 安全方面的考虑. 机架安排是否合

Linux集群和自动化维3.7.2　线上环境中的Fabric应用实例

3.7.2 线上环境中的Fabric应用实例 笔者线上的核心业务机器统一都是AWS EC2主机,机器数量较多,每个数据中心都部署了Fabric跳板机(物理拓扑图可参考图3-3),系统为Amazon Linux,内核版本为3.14.34-27.48.amzn1.x86_64,Python版本为Python 2.6.9. 如果公司项目组核心开发人员离职,线上机器就都要更改密钥,由于密钥一般是以组的形式存在的,再加上机器数量繁多,因此单纯通过技术人员手工操作,基本上是一项不可能完成的任务,但若是通过F

Linux集群和自动化维2.6　生产环境下的Shell和Python脚本分类

2.6 生产环境下的Shell和Python脚本分类 生产环境下的Shell和Python脚本的作用还是挺多的,这里根据2.1节所介绍的日常工作中Shell脚本的作用,将生产环境下的Shell脚本分为备份类.监控类.统计类.运维开发类和自动化运维类.前面3类从字面意义上看比较容易理解,后面的两类需要稍微解释一下,运维开发类脚本是利用Shell或Python实现一些非系统类的管理工作,比如SVN的发布程序等:而自动化运维类脚本则是利用Shell或Python来自动替我们做一些烦琐的工作,比如自动生

Linux集群和自动化维1.4.4　Linux下CPU使用率与机器负载的关系与区别

1.4.4 Linux下CPU使用率与机器负载的关系与区别  笔者的线上竞标业务机器,在业务最繁忙的一段周期内,发现Nginx单机并发活动的连接数超过了2.6万,机器负载(基本上不到4,Nagios监控系统并没有发送报警邮件和短信)和Nginx+Lua服务都是正常的,网卡流量并没有打满,但流量就是怎么也打不进去.经过深入观察,发现这段时期内每台机器的CPU利用率都已经很高了,基本都维持在99%-100%左右,这种情况应该是CPU资源耗尽了,导致不能再继续提供服务,所以这里有必要研究下CPU负载和

Linux集群和自动化维2.6.4　开发类脚本

2.6.4 开发类脚本 业务需求在不断地变化,有时候互联网上的开源方案并不能全部解决,这个时候就需要自己写一些开发类的脚本来满足工作中的需求了,虽然很多时候脚本都可以独立运行,但笔者的做法还是尽量将其return结果写成Nagios能够识别的格式,以便配合Nagios发送报警邮件和信息. 1.监测redis是否正常运行 笔者接触的线上NoSQL业务主要是redis数据库,多用于处理大量数据的高访问负载需求.为了最大化地利用资源,每个redis实例分配的内存并不是很大,有时候程序组的同事导入数据量

Linux集群和自动化维2.6.5　自动化类脚本

2.6.5 自动化类脚本 1.批量生成账户脚本 在内网开发环境中,有时需要为开发组的同事批量生成账户,如果手动添加的话会非常麻烦,这时可以写一段Shell脚本来自动完成这项工作.在首次登录时密码均是统一的,在移交给开发人员使用时让他们自行更改即可,脚本代码如下(此脚本在CentOS 5.8 / 6.4 x86_64下均已测试通过): #!/bin/bash #此脚本应用于开发环境下批量生成用户 for name in tom jerry joe jane yhc brain do       u

Linux集群和自动化维2.3　Shell中的控制流结构

2.3 Shell中的控制流结构 Shell中的控制流结构也比较清晰,如下所示: if ...then... else...fi语句 case语句 for循环 until循环 while循环 break控制 continue控制 工作中用得最多的就是if语句.for循环.while循环及case语句,大家可以以这几个为重点对象来学习. if语句语法如下: if 条件1 then   命令1 else   命令2 fi if语句的进阶用法: if 条件1 then     命令1       el