往事_Jim_遗的博客_Shell Script

Shell脚本8种字符串截取方法总结

日常中在脚本中常常需要使用截取部分字符串，在网上看到一个很不错的方法，在这里摘录下：Linux 的字符串截取很有用。有八种方法。假设有变量 var=http://www.aaa.com/123.htm.1. # 号截取，删除左边字符，保留右边字符。echo ${var#*//}其中 var 是变量名，# 号是运算符，*// 表示从左边开始删

Shell

截取字符串

转载 2018-07-03 13:40:54 6841 阅读 1点赞

Nagios中用于nrpe的启动管理脚本

最近一段时间应为需要大量的调整修改Nagios的监控策略所以需要反复的重启nrpe，但是在Nagios安装后是没有提供nrpe的启动脚本，所以就自己顺手写了一个用于平时nrpe的重启：#!/bin/sh #The startup script for nrpe #Author:jim #processname:nrped #&nbs

Nagios

nrpe

原创精选 2017-09-22 22:22:42 803 阅读 1点赞 1收藏

统计elasticsearch中月每天索引量的脚本

随着业务量的不断上升，最近一段时间需要对生产环境中的elasticsearch集群中的历史索引数据做迁移，而在做迁移前需要对被迁移的elasticsearch索引数据做统计用于迁移后的验证统计，所以就写了一个脚本用于es数据中查询历史索引的量生成报表文件，而在其中有使用过jq工具用于取数，jq的介绍可以查看http://jim123.blog.51cto.com/4763600/19

jq

elasticsearch

原创精选 2017-09-19 21:31:43 3367 阅读 1点赞 1收藏

用于Nagios中监控elasticsearch健康状态脚本

Nagios

elasticsearch

原创精选 2017-09-15 21:05:35 2252 阅读 2点赞

使用rsync归档收集Tomcat日志

随着业务的不断的增加，使得多台的Tomcat的日志不断剧增，以前有利用bzip2压缩历史数据的脚本压缩过,所以历史日志格式都是统一的，所以打算把部分历史日志数据收集下来，再做具体分析，选选取一台磁盘比较大的服务器用rsync来做日志中心服务器用于收集日志，需要的可以参看：http://jim123.blog.51cto.com/4763600/1959054。于是就写了一

Tomcat

rsync

logs

原创 2017-08-26 23:21:36 1161 阅读

用于Nagios中监控服务器进程的最大线程数

最近在刚好一些业务经常把线程跑满，导致服务器资源用完，所以就写了一个脚本用于Nagios下相关进程的最大线程数的监控，Unix的服务器上最大的线程数默认的是1024，当然在业务繁忙的服务器中这样肯定是不够用的，当然在实际生产环境中做初始化调优时一般都会有做过修改，如开启打开文件的最大句柄数等等，一般情况下我们都是修改/etc/security/limits.c

Nagios

processes

90-nproc

原创精选 2017-07-12 00:11:27 1111 阅读 1点赞 1收藏

tomcat版本备份脚本

因为在实际生产环境中tomcat的在服务器上会有很多应用或者是在服务器上有多个tomcat，所以因为平时大批量的备份就写了一个tomcat的版本备份脚本用于每次版本迭代之前的备份，实现比较简单：#!/bin/bash #writer jim #For tomcat version backup tomcat_dir="/app/to

tomcat

其他

原创 2017-07-08 14:25:16 1263 阅读 2收藏

Oracle每天自动备份脚本

因为需要最近写了一个适用于Oracle上的备份脚本，Oracle的数据备份不像MySQL一样直接使用二进制工具就可以备份，在Oracle上进行数据备份需要做好相应的配置，在配置好后才能进行正常的数据备份脚本，所以在Oracle备份数据前需要做一些配置。首先，因为Oracle的11g开始的特性，空表不会分配表空间所以在备份脚本中我使用了expdp

Oracle

expdp

原创精选 2017-07-01 23:55:42 9326 阅读 1点赞 8收藏

用于Nagios中监控服务器连接数脚本

最近因为服务器不断有增加新的业务，需要对服务器的最大连接数进行调整评估，所以就利用Nagios去监控相应的连接数，脚本也是利用Nagios发送相应的转态来实现监控，实现也很简单#/bin/bash #Used to monitor the number of socket connections&nbs

nagios

socket

ss

原创精选 2017-06-16 09:16:45 833 阅读

每个月定时清理压被日志脚本

因为需要日志的备份，所以就在以前的脚本的基础上重新改了下（http://jim123.blog.51cto.com/4763600/1912312），以实现日志的压缩备份和清理：#!/bin/bash #backup_log.sh:Used to compress the backup logs #note:Need&nb

logs

cleanup

原创 2017-04-01 23:01:22 636 阅读

自动清理带时间戳的log脚本

最近因为服务器上大量的带时间戳的日志存放过多，导致服务器上磁盘空间不够，因此就写了一个清理日志的脚本用于清理日志：#!/bin/bash #logs_clenup.sh:Used to clean up logs #00 00 1 * * /usr/local/scripts/log

logs

cleanup

原创精选 2017-04-01 10:15:21 2869 阅读

文件头尾增加字符串脚本

因为业务上需要，需要在一大批导出的手机号上修改成相应的sql语句用于insert某一张表中，当然为了快速处理文件就吧文件转化为列式存于文件phone中，然后通过脚本去修改文件，脚本如下：#!/bin/bash #Used to insert a string at the end of&nbs

sed

dos2unix

原创 2017-03-31 01:21:51 587 阅读

用于监控日志文件的是否被修改的脚本

最近一段需要监控观察web服务器上的日志文件是否有写入，用来判断是否服务进程是否是正常，为此就简单写了一个脚本：#!/bin/bash #check_logfile_io.sh #Used to monitor logs I/O #writer jim #histor #2017.3.22 log_file_path=/u

md5sum

原创精选 2017-03-22 21:00:37 2250 阅读

系统functions脚本

最近几天在看系统中安装了mysql的RPM包，看了下RPM包中的mysql的启动脚本，在启动脚本中有“. /etc/rc.d/init.d/functions”的一句导入系统的function，自己又去其它的系统启动脚本中看了下，都有使用这条语句导入系统function，自己又去上网去找了下发现/etc/rc.d/init.d/functions文件实在是强大，恰好在网上

functions

转载 2017-02-23 09:44:36 774 阅读

crontab中添加定时脚本不生效的原因

最近一段在检查服务器的定时脚本的时候发现了有部分服务器上的mysqldump定时脚本并没有被执行，因为在脚本中有生成日志所以就发现了问题。于是先去/var/log/cron中查看了下日志发现在相应的时候crond有执行相应的脚本,初步分析是是脚本的逻辑有问题于是就去看了下，并且执行了下发现脚本的逻辑是没有问题的，而且直接执行是没有问题的，后来又去/etc/crontab文

crontab

PATH

原创精选 2017-01-17 16:52:17 2002 阅读

统计代码行数的实用脚本

每次快到年底的时候各种的审计工作都在进行中，而最近应为部门需要统计个人写的代码有多少为此，为了方便统计就写了一个脚本用于统计代码的行数，脚本如下：#!/bin/bash #count.sh #Use Count the number of lines of code #writer jim #

count

行数

统计代码

原创 2016-12-27 13:14:12 1253 阅读

mysql_slow_log快速切割脚本

最近会比较多的分析mysql的慢日志，应为在mysql的慢日志中没有使用logrotate所以每次要要查看某一天到现在的慢查询日志都要使用正则工具切割，但是每次重新写就有一点麻烦，所以就用脚本写了下输入时间参数就可以切割日志的简易工具，脚本如下：#!/bin/bash #slow_log_cutting.sh version1.0 chmod

log

快速

slow

原创 2016-12-05 16:03:38 805 阅读

mysqldum全库数据压备通用脚本

随着业务的不断增长，在mysqld上的数据势必会越来越多，那么只有备份单个库的备份脚本就不再适用实际的生产环境，因此就对以前写的备份脚本重新写了下（http://jim123.blog.51cto.com/4763600/1846301），当然因为数据量的增大，磁盘空间也要节约使用，那么就可以通过压缩效率极高bzip2来对备份的数据进行进一步的压缩数据，当然如果系统中没有

mysql

backup

原创 2016-11-23 10:46:07 553 阅读

利用shell脚本批量修改表

最近公司里因为开发新功能，程序员需要快速在某一个库里的所有表添加字段，于是就用shell脚本简单快速实现批量修改表添加字段#!/bin/bash export mysql_bin=/usr/local/mysql/bin export database=database export tables=`$mysql_bin/mysql -Bse

mysql

MySQL

原创精选 2016-09-22 23:19:09 2873 阅读

mysql定期优化表脚本

开源的关系型数据库mysql在实际生产环境中大量被使用，但是长期以往的使用肯定会因为一些外在的因素导致表损坏，还有经过大量的增删改查数据后一定会有很多的磁盘空间没有被回收那么，平时就可以使用mysql下的mysqlcheck脚本工具进行定期修复#!/bin/bash export mysql_bin=/usr/local/mysql/bin/ export log

mysql

optimize

原创 2016-09-17 00:36:09 701 阅读 1点赞 2收藏

POSIX中shell下的常用变量、结束状态和test表达式

在开源的Unix系统中平时为了方便管理就一定会大量使用shell脚本，而在平时在写script的时候快速有效就是有很多内置的变量可以使用，在这里就简单总结整理下，以便于平时写script时快速查阅，POSIX中shell的内置变量如下：变量意义#目前进程的参数个数@传递给当前进程的命令行参数*是以一个单字符串显示所有向脚本传递的参数，用空格隔开，与位置变量不同，参数可超过9个[[:d

script

shell

原创 2016-09-16 14:29:12 1164 阅读

Apache环境下进程检查脚本

在实际生产环境中使用比较多web环境一般是apache，平时为了确保Apache的正常运行，一定会对Apache进程监控，但是一般情况下效率并不是很好，为了确保生产环境中的业务正常运行或者是故障快速处理可以利用检查系统中是否有httpd的tcp连接来判断，为此就写了一个检查Apache的脚本#!/bin/bash #use monitor httpd s

Apache

deamon

原创精选 2016-09-12 20:39:55 515 阅读

备份crontab的实用脚本

crontab是一个重要的工具，平时写的脚本或者是程序中使用的脚本都要大量的使用，那么平时就要做好crontab的备份如果root用户启用了crontab后那么在/var/spool/cron/路径下就会有相应的记录那么我们就可以7天备份一次或者是每天备份都可以具体可以视情况而定，通过这个小脚本做备份：#!/bin/bash backup_dir=/data/backup/back

crontab

shell

原创 2016-09-07 20:31:48 2160 阅读

自动获取公网ip的脚本

随手写了一个获取公网IP的脚本，其实主要是区分“”和``的区别#!/bin/bash ip_add=`curl -s -4 icanhazip.com` echo "public IP:$ip_add "在/bin/bash中以上赋值“”是取一个字符串的，而``取得是指令运行后的字符串的，当然也可以在此基础上可以运用到ip

ip

公网

原创 2016-09-05 22:14:47 2322 阅读

mysql自动备份可通用shell脚本

最近在整理服务器的脚本，发现以前写的mysql每天自动备份脚本写的不太好，就重新写了一个：#!/bin/bash ####目录环境的配置#### export datetime=`date +"%Y%m%d"` export mysqlbin_dir="/usr/local/mysql/bin" export datadir="`$mysqlb

mysql

shell

scripts

原创精选 2016-09-05 09:33:31 746 阅读 3收藏

mysql下的慢查询堵塞处理shell脚本

作为数据库肯定会有大量的select查询我们的数据库，而在实际生产环境中往往应为sql语句写的子查询略多或同大量的查询并发在一台数据库上都会造成堵塞，此时就要我们进数据库去清理大量造成堵塞的select的线程了，而造成堵塞有一个很明显的现象会有很多的select卡在哪里，我们可以用mysql> show full

mysql

慢查询

selsct

原创 2016-08-10 23:37:42 2664 阅读 1收藏

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Jim的技术随笔

Shell脚本8种字符串截取方法总结

Nagios中用于nrpe的启动管理脚本

统计elasticsearch中月每天索引量的脚本

用于Nagios中监控elasticsearch健康状态脚本

使用rsync归档收集Tomcat日志

用于Nagios中监控服务器进程的最大线程数

tomcat版本备份脚本

Oracle每天自动备份脚本

用于Nagios中监控服务器连接数脚本

每个月定时清理压被日志脚本

自动清理带时间戳的log脚本

文件头尾增加字符串脚本

用于监控日志文件的是否被修改的脚本

系统functions脚本

crontab中添加定时脚本不生效的原因

统计代码行数的实用脚本

mysql_slow_log快速切割脚本

mysqldum全库数据压备通用脚本

利用shell脚本批量修改表

mysql定期优化表脚本

POSIX中shell下的常用变量、结束状态和test表达式

Apache环境下进程检查脚本

备份crontab的实用脚本

自动获取公网ip的脚本

mysql自动备份可通用shell脚本

mysql下的慢查询堵塞处理shell脚本