一次数据分析的全过程

刚下完班的时候，在公司无聊的坐着，一位同事拿了一些数据给我，说让我实现一个类似交叉表格的统计报表。

源数据就是个日志文本信息

2008/1/11               02:14:33:181           181          00001c68                SeqID       418370    ToBack()=TRUE       Len=154  MsgID=x00000202

2008/1/11               02:14:33:181           181          00001c68                SeqID       418370    ToFront()=TRUE      Len=260  MsgID=x08000202                BEIP=192.168.1.162                BEPort=22049

2008/1/11               03:05:42:330           330          00004110                SeqID       418370    ToBack()=TRUE       Len=154  MsgID=x00000202

2008/1/11               03:05:42:346           346          00004110                SeqID       418370    ToFront()=TRUE      Len=261  MsgID=x08000202                BEIP=192.168.1.163                BEPort=22049

要的结果是统计一下，各时段对应的超时毫秒的数量

理论上也不复杂，能找出数据规律，进行分组统计而已，但问题在于：

首先统计是上下文相关的，即通过上下文的数据相计算才能获取到相应的指标

其次如何判断上下文的场景，根据几组字段判断都有问题，即得不到唯一的标示

原来想着应该是轻而易举的事情，先把数据导入oracle吧

有日期有时间，需要把文本的日期时间处理成oracle的date类型，可偏偏date类型不支持毫秒运算，第一个问题出来了，依赖于日志中已有的毫秒进行上下文计算又有一定的问题。

先统计了再说吧

select b.hours,

case when overlap<10 then '<10ms'

     when overlap<20 then '10-20'

     when overlap<30 then '20-30'

     when overlap<40 then '30-40'

     when overlap<50 then '40-50'

     when overlap<60 then '50-60'   

     when overlap<70 then '60-70'

     when overlap<80 then '70-80'

     when overlap<90 then '80-90'

     else '>90ms'

end tt,

count(*)

from

(

select a.f,a.d from

(

select k,a,b,f,d,g,c,

       LAG(c, 1, 0) OVER (partition by f,d ORDER BY B,g) lastc,

       LAG(b, 1, 0) OVER (partition by f,d ORDER BY B,g) lastb,

       case when c - LAG(c, 1, 0) OVER (ORDER BY tt)>=0  then c - LAG(c, 1, 0) OVER (ORDER BY tt)

         else  c - LAG(c, 1, 0) OVER (ORDER BY tt)+1000 end aa

  from test6 t  

) a

where a.g='ToFront()=TRUE' and a.aa>90 )

order by f,d,b,g

) b

group by b.hours,

case when overlap<10 then '<10ms'

     when overlap<20 then '10-20'

     when overlap<30 then '20-30'

     when overlap<40 then '30-40'

     when overlap<50 then '40-50'

     when overlap<60 then '50-60'   

     when overlap<70 then '60-70'

     when overlap<80 then '70-80'

     when overlap<90 then '80-90'

     else '>90ms'

end

查看本栏目更多精彩内容：http://www.bianceng.cnhttp://www.bianceng.cn/database/basis/

以上是小编为您精心准备的的内容，在的博客、问答、公众号、人物、课程等栏目也有的相关内容，欢迎继续使用右上角搜索按钮进行搜索问题
， 数据
， 统计
， 2008
， 毫秒
上下文
数据分析过程、tcp数据传输过程分析、大数据分析过程、数据分析的过程、生产过程数据统计分析，以便于您获取更多的相关知识。