#!/bin/bash #by lc at 20160428 for hadoop(grep_recharge) DATE=`date +%F_%H\:%M\:%S` YTDATE=`date -d "-1 day" +%Y%m%d` RESTDIR=/home/hadoop/prodata/rest DATEDIR=/home/hadoop/prodata/rest/$YTDATE RESTFILE=${DATEDIR}/recharge-$YTDATE.log #RESTFILE=recharge-20160427.log #NEWFILE=parse-recharge.log NEWFILE=${DATEDIR}/parse-recharge-$YTDATE.log LOGFILE=/server/scripts/grep_recharge.log function CheckFile(){ > $NEWFILE WCRESTFILE=`wc -l $RESTFILE` echo '########################' >> $LOGFILE echo "${DATE} GO..." >> $LOGFILE echo "$WCRESTFILE" >> $LOGFILE if [ ! -e $RESTFILE ] then echo "$RESTFILE CANT FIND" >>$LOGFIL exit 1 fi } function GrepFile(){ egrep -v "rechMoney|money_order" ${RESTFILE}|grep -v 'cardNum' |awk -F'[{]' '{print $1}'|sed -nr "s#(.*)#\1\{\}#gp" >${NEWFILE} #######CardNum egrep -v "rechMoney|money_order" ${RESTFILE}|grep 'cardNum'|grep "[0-9]\{8\}\"\}$"|sed -nr 's#(.*)\{.*\}#\1\{\}#gp' >>${NEWFILE} egrep -v "rechMoney|money_order" ${RESTFILE}|grep 'cardNum'|grep -v "[0-9]\{8\}\"\}$"|tr '{}' '1'|sed -nr 's#(.*)#\1\|\{\}#gp' >>${NEWFILE} ######Money_Order grep "money_order" ${RESTFILE}|sed 's#\\##g'|tr '{' '#'|sed -nr 's#(.*)\#.*\#.*money_order(.*)#\1\{\"rechMoney\2#gp'|sed 's#\###g'|sed 's#iPhone[0-9],[0-9]#iPhone#g'|sed 's#iPod[0-9],[0-9]#iPod#g'|sed 's#iPad[0-9],[0-9]#iPad#g'|awk -F[,] '{print $1"\,\"recharge\"\:\"param\"\}"}'|sed 's#\"data\":##g' >>${NEWFILE} #######rechMoney grep "rechMoney" ${RESTFILE}|sed 's#\\##g'|tr '{' '#'|sed -nr "s#(.*)\#.*rechMoney(.*)#\1\"rechMoney\2#gp"|sed 's#\###g'|sed 's#iPhone[0-9],[0-9]#iPhone#g'|sed 's#iPod[0-9],[0-9]#iPod#g'|sed 's#iPad[0-9],[0-9]#iPad#g'|awk -F'[,]' '{print $1}'|sed 's#\}##g'|awk -F'["]' '{print $1"\{\""$2"\""$3"\""$4"\"\,\"recharge\"\:\"param\"\}"}' >>${NEWFILE} echo "`wc -l ${NEWFILE}` " >> $LOGFILE if [ $? -ne 0 ] then echo "`date +%F_%H\:%M\:%S` NOT OK" >> $LOGFILE else echo "`date +%F_%H\:%M\:%S` OK" >>$LOGFILE fi } main (){ CheckFile GrepFile } main
shell之日志处理
原创
©著作权归作者所有:来自51CTO博客作者LC_李闯的原创作品,请联系作者获取转载授权,否则将追究法律责任
上一篇:shell之tomcat日志备份
下一篇:我的友情链接
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
mysql之日志
我是李福春,我在准备面试,今天的题目是:
mysql 存储引擎 数据 -
nginx之日志
1)耗时问题定位 这几天在优化服务器的响应时间,在根据 nginx 的 accesslog 中 requesttime进行程序优化时,发现有个接口,直接返回数据
日志 Nginx 数据 nginx 响应时间 -
Java之日志
日志
加载 配置文件 不兼容 -
MySQL之日志管理
事务日志,错误日志,查询日志,慢查询日志,二进制日志
MySQL 日志管理 二进制日志 -
nginx之日志切割
方便查看nginx日志, 平常会将nginx日志进行每日切割处理. 这里介绍 平常比较常用的两种方式 1. logrotate 在linux上
Nginx 日志切割 日志文件 nginx 创建日期 -
Apache之日志详解
Apache之日志详解
apache LNMP http httpd LAMP